CN103828349B - 对视频会议流的自动隐私调整 - Google Patents
对视频会议流的自动隐私调整 Download PDFInfo
- Publication number
- CN103828349B CN103828349B CN201180072739.8A CN201180072739A CN103828349B CN 103828349 B CN103828349 B CN 103828349B CN 201180072739 A CN201180072739 A CN 201180072739A CN 103828349 B CN103828349 B CN 103828349B
- Authority
- CN
- China
- Prior art keywords
- video stream
- stream data
- attention
- participant
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000004048 modification Effects 0.000 claims abstract description 26
- 238000012986 modification Methods 0.000 claims abstract description 26
- 230000008859 change Effects 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims 3
- 230000008439 repair process Effects 0.000 claims 2
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- RTZKZFJDLAIYFH-UHFFFAOYSA-N Diethyl ether Chemical compound CCOCC RTZKZFJDLAIYFH-UHFFFAOYSA-N 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 description 1
- 230000018199 S phase Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
方法和系统可涉及基于与永远在线视频会议会话中的第一参与者相关联的视频流数据来确定用户注意水平。可以基于用户注意水平来修改视频流数据以获得针对隐私而自动调整的修改的视频流数据。此外，可以将修改的视频流数据传输给视频会议会话中的一个或多个其他参与者。
Description
对相关申请的交叉引用
本专利申请要求美国临时专利申请No.61/494,034的优先权的益处。
技术领域
本发明涉及对视频会议流的自动隐私调整。
背景技术
传统的视频会议可遭受建立时间以及参与者的共享视频图像的意愿和可用性的知识的缺乏。虽然“永远在线”视频流可以解决参与者可用性，但是永远在线馈送可以引入新的隐私问题。
发明内容
按照本发明的一个方面，提供了一种系统，包括：
图像捕获装置，用于获得与视频会议会话中的第一参与者相关联的第一视频流数据；以及
逻辑，用于
基于所述第一视频流数据来确定用户注意水平，
基于所述用户注意水平来修改所述第一视频流数据以获得修改的视频流数据，以及
将所述修改的视频流数据传输给所述视频会议会话中的第二参与者。
按照本发明的另一个方面，提供了一种计算机实现的方法，包括：
基于与视频会议会话中的第一参与者相关联的视频流数据来确定用户注意水平；
基于所述用户注意水平来修改所述视频流数据以获得修改的视频流数据；以及
将所述修改的视频流数据传输给所述视频会议会话中的第二参与者。
按照本发明的又一方面，提供了一种设备，包括：
用于基于与视频会议会话中的第一参与者相关联的视频流数据来确定用户注意水平的部件；
用于基于所述用户注意水平来修改所述视频流数据以获得修改的视频流数据的部件；以及
用于将所述修改的视频流数据传输给所述视频会议会话中的第二参与者的部件。
附图说明
通过阅读以下说明书和附加的权利要求书以及通过参考以下附图，对于本领域技术人员来说，本发明的实施例的各种优势将变得显而易见，其中：
图1是根据实施例的视频会议环境的示例的框图；
图2是根据实施例的处理视频流数据的方法的示例的流程图；
图3是根据实施例的基于用户注意水平修改视频流数据的方法的示例的流程图；
图4A和4B是根据实施例的视频会议显示器的示例的屏幕截图；以及
图5是根据实施例的计算系统的示例的框图。
具体实施方式
实施例可包括具有指令集的计算机可读存储介质，所述指令如果被处理器执行的话会引起计算机基于与视频会议会话中的第一参与者相关联的视频流数据来确定用户注意水平。所述指令还可引起计算机基于用户注意水平来修改视频流数据以获得修改的视频流数据，并且将修改的视频流数据传输给视频会议会话中的第二参与者。
现在转到图1，示出了视频会议环境，其中第一参与者10引导与第二参与者12的“永远在线”视频会议会话。在图示的示例中，照相机16和麦克风18分别捕获第一参与者10的视频和音频内容，第一参与者10使用显示器（例如具有音频输出能力的电视/监视器）14来观看并听第二参与者12的视频和音频内容（例如视频流数据）。可以将音频内容嵌入视频流数据中。在通过网络22传输给第二参与者之前，第一参与者10的视频流数据可以被计算系统20处理。类似地，照相机24和麦克风26可以捕获第二参与者12的视频流数据，第二参与者12可以使用显示器28来观看并听第一参与者10的视频流数据。因此，在通过网络22传输给第一参与者10之前，第二参与者12的视频流数据可以被计算系统30处理。在图示的示例中，计算系统30确定第二参与者12未正在注意显示器28并且因此修改视频流数据以使从第一参与者10的观点来看第二参与者12不那么可见（例如模糊的）并且不那么可听（例如静音的）。因此，在不注意的时期期间，图示的方法自动提供更多隐私给第二参与者12。
如将更详细讨论的，照相机16、24可以各自均包括RGB（红-绿-蓝）图像捕获装置和深度图像捕获装置。RGB图像捕获装置可以是标准的2D（二维）装置，而深度图像捕获装置可包括例如IR（红外）装置（如从华盛顿州雷蒙德（Redmond WA）的微软公司（MicrosoftCorportaion）可得到的Kinect装置）。例如，IR装置可包括IR频谱中操作的结构光发射器和捕获由此可计算深度信息的IR图像的IR照相机。例如飞行时间照相机技术等等的其它技术可用来识别深度信息。
此外，计算系统20、30可包括从RGB-深度数据中提取候选脸部区域的逻辑，以及确定脸部是否出现在候选脸部区域中的逻辑（例如脸部识别软件）。在一个示例中，具有基于反射对称性的正面脸部训练集合的Haar特征分类器可以用于正面脸部检测。因此，视频流数据中正面面向的脸部可以等同作为注意的记号。还可使用其它注意检测方法。与仅仅基于RGB图像捕获装置的系统相比，深度图像捕获装置的使用可提供更高的效率（例如更快的用户注意水平确定）。
图2示出了处理视频流数据的方法32。使用例如特定用途集成电路（ASIC）、互补金属氧化物半导体（CMOS）或晶体管-晶体管逻辑（TTL）技术或其中的任何组合的电路技术，方法32可以实现为存储在固定功能性硬件中的机器或计算机可读存储介质（例如随机存取存储器（RAM）、只读存储器（ROM）、可编程ROM（PROM）、闪速存储器、固件、微代码等等）中的可执行逻辑指令集。例如，用来执行方法32中示出的操作的计算机程序代码可以用一种或多种编程语言的任何组合来写，包括面向对象编程语言（例如C++等等）和常规程序编程语言（例如“C”编程语言或类似的编程语言）。此外，使用上述电路技术中的任何一种，方法32的各个方面可以实现为处理器的嵌入式逻辑。在一个示例中，在设备驱动程序级实现方法32以使能将任何传送机制用于视频会议流。
处理框34为接收与视频会议会话中的第一参与者相关联的视频流数据作准备。在一个示例中，视频会议会话可以是永远在线会话，其中参与者可以有时是不注意的或者甚至是身体上缺席的。可以在框36确定第一参与者的用户注意水平。如已经提到的，基于反射对称性的Haar特征分类器可以用来确定用户注意水平。图示的框38基于用户注意水平来修改视频流和音频数据。应用于视频流数据的修改可以是任何适当的隐私保留过滤器。例如箱式过滤器模糊、高斯模糊、对比度减少（例如变暗）方法等等可以用来增加输出的视频流数据的隐私。
现在转到图3、4A和4B，示出了基于用户注意水平和所得到的视频内容来修改视频流数据的方法40。图示的框42确定视频流数据是否反映一个或多个参与者正在注意。例如，脸部分析面板44演示了可以基于来自深度图像捕获装置的数据来识别一个或多个候选脸部区域46（46a-46f）。特别地，一个区域46a可以对应于后面的墙，而另一个区域46c可以对应于距图像捕获装置不同距离处的桌子上的物体，而又一区域46b可以对应于参与者的头部。在图示的示例中，在候选脸部区域46中检测注意的（例如正面面向的）脸部区域48。
如在图4A的情况下，如果确定参与者正在注意，框50可以减少输出的视频数据流中的隐私。因此，可以导致其中参与者完全可见的视频输出52。此外，可以将音频内容增加到相对高的等级，例如完全音量等级。
在另一方面，如果确定一个或多个候选脸部区域54（54a-54c）不包含注意的脸部区域，则可以推断参与者未正在注意或者身体上不在视频捕获区域。因此，框56可以增加输出的视频数据流中的隐私使得视频输出58被模糊以防止参与者被完全看见。此外，音频内容还可以被静音或以其它的方式被减少音量。因此，其中检测到注意的脸部的每个时间间隔，可以将注意测量递增一些增益。当未看见脸部时，可以将注意测量递减不同的增益。然后，这个注意测量可以用来根据某个转换函数设置隐私等级（例如从0-100%）。对于模糊的情况，可以使用与隐私等级逆相关的模糊内核半径。对于音频，可以使用与隐私等级逆相关的音量设置（例如从0-100%）。
如将更详细讨论的，控制框56中的隐私增加的增益可以高于控制框50中的隐私减少的增益以便实现说明短暂的把脸转过去等等的可调滞后功能性。返回到图2，图示的框39为将修改的视频流和音频数据传输给视频会议会话中的第二参与者作准备。
图5示出了计算平台60，其具有处理器62、系统存储器64、平台控制器集线器（PCH）66、海量存储器（例如硬盘驱动器/HDD、光盘、闪速存储器）68、网络控制器70、一个或多个用户接口（UI）装置72以及各种其它控制器（未示出）。平台60可以是移动平台的一部分，例如膝上型计算机、个人数字助理（PDA）、无线智能电话、媒体播放器、成像装置、移动互联网装置（MID）、任何智能装置（例如智能电话、智能平板电脑、智能电视等等）、或其中的任何组合。此外，平台60还可以是固定平台的一部分，例如个人计算机（PC）、服务器、工作站等等。实际上，平台60可以部分地或完全地被合并到视频会议显示器中，例如已经讨论过的显示器14、28（图1）。因此，处理器62可以包括能够执行存储的逻辑指令集的一个或多个处理器核以及配置成与系统存储器64通信的集成存储器控制器（IMC）74。系统存储器64可以包括例如动态随机存取存储器（DRAM），其配置为存储器模块，诸如，例如，双列直插式存储器模块（DIMM）、小外廓DIMM（SODIMM）等等。
在图示的示例中，处理器62配置成执行逻辑76，所述执行逻辑76接收与视频会议会话相关联的视频流数据、基于视频流数据来确定用户注意水平、基于用户注意水平来修改视频流数据并且将修改的视频流数据传输给视频会议会话中的其他参与者。因此，逻辑76可实现已经讨论过的方法32（图2）的一个或多个方面。如已经提到的，可以在设备驱动程序级实现逻辑76。
有时被称为芯片集的南桥的图示的PCH 66起主机装置的作用并且可以和网络控制器70通信，网络控制器70可以为各种各样的用途提供平台外的无线通信功能性，诸如，例如，蜂窝电话（例如W-CDMA(UMTS)、CDMA2000(IS-856/IS-2000)等等）、WiFi（例如IEEE802.11、1999 Edition、LAN/MAN无线LANS）、低速率无线PAN（例如IEEE 802.15.4-2006、LR-WPAN）、蓝牙（例如IEEE 802.15.1-2005、无线个人局域网）、WiMax（例如IEEE 802.16-2004、LAN/MAN宽带无线LANS）、全球定位系统（GPS）、扩展频谱（例如900MHz）以及其它射频（RF）电话用途。网络控制器70还可提供平台外的有线通信（例如RS-232（电子工业联盟/EIA）、以太网（例如IEEE 802.3-2005、LAN/MAN CSMA/CD接入方法）、电力线通信（例如X10、IEEEP1675）、USB（例如通用串行总线2.0规范）、数字订户线（DSL）、电缆调制解调器、T1连接）等等功能性。UI（例如触摸屏、液晶显示器/LCD、发光二极管/LED、键盘、鼠标等等）装置72可以能够使得用户能够与平台60交互并且从平台60感知信息。
可以例如写出上面描述的技术的伪代码实现如下。
MAXPUBLIC = 200；//改变这个以增加滞后
因此，实施例可包括系统，该系统具有用来获得与视频会议会话中的第一参与者相关联的第一视频流数据的图像捕获装置以及用来基于第一视频流数据确定用户注意水平的逻辑。所述逻辑还可以基于用户注意水平来修改第一视频流数据以获得修改的视频流数据并且将修改的视频流数据传输给视频会议会话中的第二参与者。
实施例还可涉及计算机实现的方法，其中基于与视频会议会话中的第一参与者相关联的视频流数据来确定用户注意水平。该方法还可为基于用户注意水平来修改视频流数据以获得修改的视频流数据并且将修改的视频流数据传输给视频会议系统中的第二参与者作准备。
可以使用硬件、软件或其中的组合来实现本发明的实施例的某些方面并且可以在一个或多个计算机系统或其它处理系统中实现本发明的实施例的某些方面。可以将程序代码应用于使用输入装置输入的数据以执行所描述的功能并且生成输出信息。可以将输出信息应用于一个或多个输出装置。本领域普通技术人员可以意识到可以利用各种计算机系统配置（包括多处理器系统、微型计算机、大型计算机等等）来实施实施例。还可以在分布式计算环境中实施实施例，其中可以由通过通信网络而被链接的远程处理装置来执行任务。
可以用高级程序编程语言或面向对象编程语言来实现每个程序以便和处理系统通信。然而，如果期望的话，可以用汇编语言或机器语言来实现程序。在任何情况下，可以编译或解释所述语言。
程序指令可以用来引起利用指令编程的通用或特殊用途的处理系统来执行本文描述的方法。备选地，可以通过包含用于执行所述方法的硬布线逻辑的特定硬件部件或者通过编程的计算机部件和定制的硬件部件的任何组合来执行所述方法。本文描述的方法可以作为计算机程序产品来提供，所述计算机程序产品可包括具有存储在其上的指令的机器可读介质，所述指令可以用来对处理系统或其它电子装置进行编程以执行所述方法。本文使用的术语“机器可读介质”或“机器可访问介质”将包括能够存储或编码用于由机器执行的指令序列并且引起机器执行本文描述的方法中的任何一种方法的任何介质。术语“机器可读介质”或“机器可访问介质”可因此包括但不限于固态存储器、光盘和磁盘、以及编码数据信号的载波。此外，以一种形式或另一种形式（例如程序、过程、进程、应用、模块、逻辑等等）作为采取行动或引起结果地提到软件在本领域中是常见的。这样的表达仅仅是陈述通过处理系统执行软件以引起处理器执行动作或产生结果的简化方式。
术语“耦合”可以在本文中用来指在正被讨论的部件之间的直接或间接的任何类型的关系并且可应用于电气的、机械的、流体的、光的、电磁的、电机械的或其它的连接。此外，术语“第一”、“第二”等等可以在本文中仅仅用来便于讨论并且不带有特定的时间或时序意义，除非另外指明。
虽然上面已经描述了本发明的各种实施例，应该理解它们仅仅是通过示例的方式而不是限制的方式被呈现的。本领域技术人员将会理解在不背离如附加的权利要求中限定的本发明的范围和精神的情况下，可以在其中作出形式和细节上的各种改变。因此，本发明的范围和宽度不应该被上面描述的示例性实施例中的任何一个限制，而应该根据随附的权利要求和它们的等同物来限定。
Claims (27)
1.一种对视频会议流的自动隐私调整的系统，包括：
图像捕获装置，用于获得与视频会议会话中的第一参与者相关联的第一视频流数据；以及
逻辑，用于：
基于所述第一视频流数据来确定用户注意水平，
基于所述用户注意水平来修改所述第一视频流数据以获得修改的视频流数据，以及
将所述修改的视频流数据传输给所述视频会议会话中的第二参与者，
其中所述逻辑用于：
如果所述用户注意水平指示所述第一参与者正在注意所述视频会议会话的话，把注意测量递增第一增益，以及
如果所述用户注意水平指示所述第一参与者未正在注意所述视频会议会话的话，把所述注意测量递减第二增益，其中将基于所述注意测量来修改所述第一视频流数据。
2.如权利要求1所述的系统，其中所述图像捕获装置包括二维2D部件和深度捕获部件，并且所述逻辑将识别所述第一视频流数据中的2D信息和深度信息。
3.如权利要求2所述的系统，其中所述深度捕获部件包括：
在IR频谱中操作的结构光发射器；以及
用于捕获IR图像的IR照相机，其中所述逻辑将基于所述IR图像来识别所述深度信息。
4.如权利要求1-3中任何一项所述的系统，其中所述逻辑将
使用所述第一视频流深度数据来识别一个或多个候选脸部区域，
从所述第一视频流数据中提取所述一个或多个候选脸部区域，以及
在所述一个或多个候选脸部区域上引导脸部识别分析。
5.如权利要求4所述的系统，其中所述逻辑将在所述脸部识别分析中使用正面面向的脸部作为注意的记号。
6.如权利要求1所述的系统，其中所述第二增益将大于所述第一增益。
7.如权利要求1所述的系统，其中所述逻辑将基于所述注意测量来修改所述第一视频流数据的模糊特性和对比度特性中的至少一个。
8.如权利要求1所述的系统，其中所述逻辑将基于所述注意测量来修改所述视频流数据的音频音量。
9.如权利要求1-3中任何一项所述的系统，还包括网络控制器，其中所述逻辑将经由所述网络控制器来将所述修改的视频流数据传输给所述第二参与者。
10.如权利要求9所述的系统，其中所述网络控制器将把所述修改的视频流数据传输给所述视频会议会话中的多个参与者。
11.如权利要求1-3中任何一项所述的系统，还包括用于输出与所述视频会议会话中的所述第二参与者相关联的第二视频流数据的显示器。
12.一种对视频会议流的自动隐私调整的计算机实现的方法，包括：
基于与视频会议会话中的第一参与者相关联的视频流数据来确定用户注意水平；
基于所述用户注意水平来修改所述视频流数据以获得修改的视频流数据；
将所述修改的视频流数据传输给所述视频会议会话中的第二参与者；
如果所述用户注意水平指示所述第一参与者正在注意所述视频会议会话的话，则将注意测量递增第一增益；以及
如果所述用户注意水平指示所述第一参与者未正在注意所述视频会议会话的话，则将所述注意测量递减第二增益，其中基于所述注意测量来修改所述视频流数据。
13.如权利要求12所述的方法，还包括识别所述视频流数据中的二维2D信息和深度信息。
14.如权利要求13所述的方法，其中所述深度信息包括红外IR信息。
15.如权利要求12-14中任何一项所述的方法，其中确定所述用户注意水平包括：
使用所述视频流深度数据来识别一个或多个候选脸部区域；
从所述视频流数据中提取所述一个或多个候选脸部区域；以及
在所述一个或多个候选脸部区域上引导脸部识别分析。
16.如权利要求15所述的方法，还包括在所述脸部识别分析中使用正面面向的脸部作为注意的记号。
17.如权利要求12所述的方法，其中所述第二增益大于所述第一增益。
18.如权利要求12所述的方法，其中修改所述视频流数据包括基于所述注意测量来修改所述视频流数据的模糊特性和对比度特性中的至少一个。
19.如权利要求12所述的方法，其中修改所述视频流数据包括基于所述注意测量来修改所述视频流数据的音频音量。
20.一种对视频会议流的自动隐私调整的设备，包括：
用于基于与视频会议会话中的第一参与者相关联的视频流数据来确定用户注意水平的部件；
用于基于所述用户注意水平来修改所述视频流数据以获得修改的视频流数据的部件；
用于将所述修改的视频流数据传输给所述视频会议会话中的第二参与者的部件；
用于如果所述用户注意水平指示所述第一参与者正在注意所述视频会议会话的话将注意测量递增第一增益的部件；以及
用于如果所述用户注意水平指示所述第一参与者未正在注意所述视频会议会话的话将所述注意测量递减第二增益的部件，其中将基于所述注意测量来修改所述视频流数据。
21.如权利要求20所述的设备，还包括用于识别所述视频流数据中的二维2D信息和深度信息的部件。
22.如权利要求21所述的设备，其中所述深度信息将包括红外IR信息。
23.如权利要求20-22中任何一项所述的设备，还包括：
用于使用所述视频流深度数据来识别一个或多个候选脸部区域的部件，
用于从所述视频流数据中提取所述一个或多个候选脸部区域的部件；以及
用于在所述一个或多个候选脸部区域上引导脸部识别分析的部件。
24.如权利要求23所述的设备，还包括用于在所述脸部识别分析中使用正面面向的脸部作为注意的记号的部件。
25.如权利要求20所述的设备，其中所述第二增益将大于所述第一增益。
26.如权利要求20所述的设备，还包括用于基于所述注意测量来修改所述视频流数据的模糊特性和对比度特性中的至少一个的部件。
27.如权利要求20所述的设备，还包括用于基于所述注意测量来修改所述视频流数据的音频音量的部件。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161494034P | 2011-06-07 | 2011-06-07 | |
| US61/494,034 | 2011-06-07 | ||
| US61/494034 | 2011-06-07 | ||
| PCT/US2011/054488 WO2012094042A1 (en) | 2011-01-07 | 2011-10-01 | Automated privacy adjustments to video conferencing streams |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103828349A CN103828349A (zh) | 2014-05-28 |
| CN103828349B true CN103828349B (zh) | 2019-01-08 |
Family
ID=46457652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180072739.8A Expired - Fee Related CN103828349B (zh) | 2011-06-07 | 2011-10-01 | 对视频会议流的自动隐私调整 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9313454B2 (zh) |
| EP (1) | EP2719170A4 (zh) |
| CN (1) | CN103828349B (zh) |
| TW (1) | TWI575957B (zh) |
| WO (1) | WO2012094042A1 (zh) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012094042A1 (en) | 2011-01-07 | 2012-07-12 | Intel Corporation | Automated privacy adjustments to video conferencing streams |
| US20140096261A1 (en) * | 2012-10-01 | 2014-04-03 | Nokia Corporation | Method and apparatus for providing privacy policy for data stream |
| US10547713B2 (en) | 2012-11-20 | 2020-01-28 | Nvidia Corporation | Method and system of transmitting state based input over a network |
| US20140195594A1 (en) * | 2013-01-04 | 2014-07-10 | Nvidia Corporation | Method and system for distributed processing, rendering, and displaying of content |
| US9407704B2 (en) * | 2013-08-13 | 2016-08-02 | Bank Of America Corporation | Virtual position display and indicators |
| EP2854396A1 (en) * | 2013-09-27 | 2015-04-01 | Alcatel Lucent | Method and devices for determining visual attention in multi-location video conferencing |
| US9055191B1 (en) | 2013-12-13 | 2015-06-09 | Google Inc. | Synchronous communication |
| CN104836977B (zh) | 2014-02-10 | 2018-04-24 | 阿里巴巴集团控股有限公司 | 即时通讯过程中的视频通讯方法及系统 |
| US9307200B2 (en) * | 2014-04-10 | 2016-04-05 | Cisco Technology, Inc. | Use of face and motion detection for best view framing in video conference endpoint |
| CN105306869A (zh) * | 2014-06-25 | 2016-02-03 | 三亚中兴软件有限责任公司 | 多媒体会议系统中控制多媒体播放的方法、设备及系统 |
| US9319633B1 (en) * | 2015-03-19 | 2016-04-19 | Cisco Technology, Inc. | Ultrasonic echo canceler-based technique to detect participant presence at a video conference endpoint |
| JPWO2016151974A1 (ja) * | 2015-03-24 | 2018-01-11 | ソニー株式会社 | 情報処理装置、情報処理方法、クライアント装置、サーバ装置および情報処理システム |
| US9628757B2 (en) * | 2015-08-14 | 2017-04-18 | Microsoft Technology Licensing, Llc | Dynamic communication portal between locations |
| US9848167B1 (en) * | 2016-06-21 | 2017-12-19 | Amazon Technologies, Inc. | Low bandwidth video |
| CN106161985B (zh) * | 2016-07-05 | 2019-08-27 | 宁波菊风系统软件有限公司 | 一种浸入式视频会议的实现方法 |
| US10419511B1 (en) * | 2016-10-04 | 2019-09-17 | Zoom Video Communications, Inc. | Unique watermark generation and detection during a conference |
| WO2018074263A1 (ja) * | 2016-10-20 | 2018-04-26 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、およびコミュニケーションシステム |
| US11128675B2 (en) | 2017-03-20 | 2021-09-21 | At&T Intellectual Property I, L.P. | Automatic ad-hoc multimedia conference generator |
| WO2018193687A1 (ja) * | 2017-04-18 | 2018-10-25 | ソニー株式会社 | 情報処理装置、情報処理方法、および記録媒体 |
| US10510153B1 (en) | 2017-06-26 | 2019-12-17 | Amazon Technologies, Inc. | Camera-level image processing |
| US10580149B1 (en) | 2017-06-26 | 2020-03-03 | Amazon Technologies, Inc. | Camera-level image processing |
| JP7056339B2 (ja) * | 2018-04-12 | 2022-04-19 | 富士通株式会社 | ユーザ支援プログラム、ユーザ支援装置及びユーザ支援方法 |
| US10902274B2 (en) * | 2018-04-30 | 2021-01-26 | Adobe Inc. | Opting-in or opting-out of visual tracking |
| US10666954B2 (en) * | 2018-06-19 | 2020-05-26 | International Business Machines Corporation | Audio and video multimedia modification and presentation |
| US10440324B1 (en) | 2018-09-06 | 2019-10-08 | Amazon Technologies, Inc. | Altering undesirable communication data for communication sessions |
| US10785421B2 (en) | 2018-12-08 | 2020-09-22 | Fuji Xerox Co., Ltd. | Systems and methods for implementing personal camera that adapts to its surroundings, both co-located and remote |
| TWI727337B (zh) * | 2019-06-06 | 2021-05-11 | 大陸商鴻富錦精密工業（武漢）有限公司 | 電子裝置及人臉識別方法 |
| US11343412B2 (en) * | 2019-10-22 | 2022-05-24 | Intel Corporation | User detection and user attention detection using multi-zone depth sensing |
| JP7400100B2 (ja) * | 2019-11-18 | 2023-12-18 | グーグル エルエルシー | 音声映像ストリームからのプライバシーに配慮した会議室でのトランスクリプション |
| EP3923243A1 (en) * | 2020-06-09 | 2021-12-15 | Koninklijke Philips N.V. | Providing augmented image feed |
| US11783082B2 (en) | 2020-10-20 | 2023-10-10 | T-Mobile Usa, Inc. | Privacy manager |
| TWI757940B (zh) * | 2020-10-29 | 2022-03-11 | 宏碁股份有限公司 | 視訊會議系統及其排除打擾的方法 |
| US11838684B2 (en) | 2021-01-26 | 2023-12-05 | Dell Products, Lp | System and method for operating an intelligent videoframe privacy monitoring management system for videoconferencing applications |
| US11669639B2 (en) * | 2021-02-25 | 2023-06-06 | Dell Products L.P. | System and method for multi-user state change |
| JP7292343B2 (ja) * | 2021-09-27 | 2023-06-16 | ソフトバンク株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7564476B1 (en) * | 2005-05-13 | 2009-07-21 | Avaya Inc. | Prevent video calls based on appearance |
| CN102577367A (zh) * | 2009-09-11 | 2012-07-11 | 伊斯曼柯达公司 | 时移视频通信 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020003310A (ko) * | 2001-08-13 | 2002-01-12 | (주)더밸류테크놀로지 | 음성 및 화상의 변조 알고리즘을 이용한 유무선인터넷상의 화상통신시스템 |
| US7379560B2 (en) * | 2003-03-05 | 2008-05-27 | Intel Corporation | Method and apparatus for monitoring human attention in dynamic power management |
| US20050099492A1 (en) * | 2003-10-30 | 2005-05-12 | Ati Technologies Inc. | Activity controlled multimedia conferencing |
| US7768543B2 (en) * | 2006-03-09 | 2010-08-03 | Citrix Online, Llc | System and method for dynamically altering videoconference bit rates and layout based on participant activity |
| US8044989B2 (en) * | 2006-12-12 | 2011-10-25 | General Instrument Corporation | Mute function for video applications |
| TW200844849A (en) * | 2007-05-15 | 2008-11-16 | Chien-Cheng Lee | A collaborative telemedicine system |
| US8392503B2 (en) * | 2007-06-19 | 2013-03-05 | Cisco Technology, Inc. | Reporting participant attention level to presenter during a web-based rich-media conference |
| US20090041311A1 (en) * | 2007-08-09 | 2009-02-12 | Jon Hundley | Facial recognition based content blocking system |
| US20100064010A1 (en) * | 2008-09-05 | 2010-03-11 | International Business Machines Corporation | Encouraging user attention during presentation sessions through interactive participation artifacts |
| TWI387292B (zh) * | 2008-09-23 | 2013-02-21 | Univ Chang Gung | Secure video conferencing systems and methods |
| US8744121B2 (en) * | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
| US8462191B2 (en) * | 2010-12-06 | 2013-06-11 | Cisco Technology, Inc. | Automatic suppression of images of a video feed in a video call or videoconferencing system |
| WO2012094042A1 (en) | 2011-01-07 | 2012-07-12 | Intel Corporation | Automated privacy adjustments to video conferencing streams |
| US8976218B2 (en) * | 2011-06-27 | 2015-03-10 | Google Technology Holdings LLC | Apparatus for providing feedback on nonverbal cues of video conference participants |
| US8750472B2 (en) * | 2012-03-30 | 2014-06-10 | Cisco Technology, Inc. | Interactive attention monitoring in online conference sessions |
| US9118940B2 (en) * | 2012-07-30 | 2015-08-25 | Google Technology Holdings LLC | Video bandwidth allocation in a video conference |
-
2011
- 2011-10-01 WO PCT/US2011/054488 patent/WO2012094042A1/en active Application Filing
- 2011-10-01 US US14/124,522 patent/US9313454B2/en active Active
- 2011-10-01 CN CN201180072739.8A patent/CN103828349B/zh not_active Expired - Fee Related
- 2011-10-01 EP EP11854996.3A patent/EP2719170A4/en not_active Withdrawn
-
2012
- 2012-06-01 TW TW101119783A patent/TWI575957B/zh not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7564476B1 (en) * | 2005-05-13 | 2009-07-21 | Avaya Inc. | Prevent video calls based on appearance |
| CN102577367A (zh) * | 2009-09-11 | 2012-07-11 | 伊斯曼柯达公司 | 时移视频通信 |
Non-Patent Citations (1)
| Title |
|---|
| Using depth information to improve face detection;Walker Burgin et al;《Proceedings of the 6th international conference on Human-robot interaction》;20110306;119-120 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2719170A1 (en) | 2014-04-16 |
| TWI575957B (zh) | 2017-03-21 |
| EP2719170A4 (en) | 2015-06-17 |
| US9313454B2 (en) | 2016-04-12 |
| CN103828349A (zh) | 2014-05-28 |
| WO2012094042A1 (en) | 2012-07-12 |
| US20140368604A1 (en) | 2014-12-18 |
| WO2012094042A8 (en) | 2014-01-23 |
| TW201320747A (zh) | 2013-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103828349B (zh) | 对视频会议流的自动隐私调整 | |
| US10372208B2 (en) | Power efficient image sensing apparatus, method of operating the same and eye/gaze tracking system | |
| CN104488258B (zh) | 用于双相机快门的方法和设备 | |
| CN104410785B (zh) | 一种信息处理方法及电子设备 | |
| KR102220443B1 (ko) | 깊이 정보를 활용하는 전자 장치 및 방법 | |
| US10108851B2 (en) | Face recognition in an enterprise video conference | |
| CN107430629A (zh) | 计算机呈现中的视觉内容的分优先级显示 | |
| DE102014117344A1 (de) | Gerät und Verfahren zum Empfangen einer Eingabe und Darstellen als Antwort eine Ausgabe auf einem von dem ersten Gerät unterschiedlichen zweiten Gerät | |
| US20160247536A1 (en) | Techniques for adding interactive features to videos | |
| WO2013003534A2 (en) | Measuring device user experience through display outputs | |
| CN105874776A (zh) | 图像处理设备和方法 | |
| US9137461B2 (en) | Real-time camera view through drawn region for image capture | |
| US10386931B2 (en) | Toggling between presentation and non-presentation of representations of input | |
| CN112954212B (zh) | 视频生成方法、装置及设备 | |
| CN105320270A (zh) | 用于执行脸部追踪功能的方法及其电子装置 | |
| CN110363814A (zh) | 一种视频处理方法、装置、电子装置和存储介质 | |
| CN105678696B (zh) | 一种信息处理方法及电子设备 | |
| WO2017021460A1 (fr) | Procédé de partage interactif d'applications et de données entre ordinateurs à écran tactile et programme d'ordinateur pour la mise en œuvre dudit procédé | |
| CN105807888A (zh) | 一种电子设备及信息处理方法 | |
| DE112010002424T5 (de) | Vorrichtung, Verfahren und computerlesbares Speichermedium zum Bereitstellen einer Benutzungsschnittstelle, die eine Stütze für ein tragbares Gerät umfasst. | |
| CN106303746A (zh) | 弹幕数据的处理方法及装置 | |
| CN112418942A (zh) | 广告显示方法、装置及电子设备 | |
| CA2878334A1 (en) | Systems, apparatuses, and methods for branding and/or advertising through immediate user interaction, social networking, and image sharing | |
| CN110633117A (zh) | 一种数据处理方法、装置、电子设备和可读介质 | |
| CN105956003A (zh) | 一种信息处理方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190108 Termination date: 20191001 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |