CN105049924A - 对与主显示器在相同房间内的候选同伴显示设备的检测 - Google Patents

对与主显示器在相同房间内的候选同伴显示设备的检测 Download PDF

Info

Publication number
CN105049924A
CN105049924A CN201510198355.0A CN201510198355A CN105049924A CN 105049924 A CN105049924 A CN 105049924A CN 201510198355 A CN201510198355 A CN 201510198355A CN 105049924 A CN105049924 A CN 105049924A
Authority
CN
China
Prior art keywords
equipment
ccsd
auxiliary content
present
supplied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510198355.0A
Other languages
English (en)
Inventor
B·坎德洛尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105049924A publication Critical patent/CN105049924A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了对与主显示器在相同房间内的候选同伴显示设备的检测。候选同伴屏幕设备被主显示设备利用相机和图像识别定位为在与该主设备相同的房间内，并且作为响应，与在主显示设备上示出的内容相关的辅助内容提供给同伴屏幕设备。通过例如提供到同伴设备的网站的链接，辅助内容可以基于在主显示设备上呈现的内容中的信息从因特网提供。

Description

对与主显示器在相同房间内的候选同伴显示设备的检测
技术领域
本申请一般而言涉及利用相机确定候选同伴显示设备与主显示器在相同的房间内。
背景技术
计算机生态系统，或者数字生态系统，是自适应和分布式的社会技术系统，其特征在于其持续性、自组织和可伸缩性。从由通过营养循环和能量流交互的生物和非生物成分组成的环境生态系统得到启发，完整的计算机生态系统由硬件、软件和服务组成，在有些情况下，硬件、软件和服务可以由一个公司，诸如Sony，提供。每个计算机生态系统的目标是为消费者提供可能期望的一切，至少部分地是可以经因特网交换的服务和/或软件。而且，生态系统的元素，诸如计算云当中的应用，之间的互连和共享为消费者提供了组织和访问数据的增加的能力并且把它自己呈现为高效集成生态系统的未来特性。
存在两种一般类型的计算机生态系统：垂直和水平生态系统。在垂直方法中，几乎生态系统的所有方面都由一个公司拥有和控制，并且具体地设计为无缝地彼此交互。相反，水平生态系统把由其它实体创建的诸如硬件和软件的各方面集成到一个统一的生态系统中。水平方法允许来自消费者和制造商的输入的更大变化，从而增加了对新颖创新的能力和对变化需求的适应。
这里有关的一个示例生态系统是家庭娱乐生态系统，该系统包括TV和各种附近的显示设备，诸如无线通信设备。
发明内容
如本文所理解的，为了把TV与家庭生态系统中用作TV的“同伴”设备的设备配对，通常用户必须从在家里以及在许多情况下在邻居家里的可能被无线发现的长长的生态系统设备列表中选择设备。通常，由用户(人)来判定哪些设备在家里，更不用说在相同的房间内。
本原理针对允许诸如音频视频显示设备(AVDD)的主显示设备(PDD)，诸如TV，发现当前不在家庭生态系统中但是也在与PDD相同的房间内的候选同伴屏幕设备(CCSD)，例如，平板电脑、无线电话等。这促进智能地选择多个CCSD中哪个要选择用于呈现与在PDD上显示的主要内容相关的辅助内容，因为，当室外设备的用户不能看到PDD时，在PDD处于其中的房间之外的CCSD对于显示辅助内容不是那么有用，或者说期望。PDD可以向与该PDD在相同房间内的CCSD发送关于用户是否期望让辅助数据在该CCSD上呈现的消息。
应当指出，PDD可以由具有相对小显示器的设备，诸如无线平板，确立，如果它是具有正在播放的内容的焦点设备的话。在这种场景中，CCSD可以由，例如，较大屏幕的TV建立，而不影响本原理。
因而，一种设备包括至少一个承载可由处理器执行的指令的计算机可读存储介质，以及至少一个配置为用于访问计算机可读存储介质以便执行指令的处理器，其中指令把处理器配置为使设备成像该设备前面的空间。当执行指令时，处理器还被配置为对空间中的对象执行图像识别，并且至少部分地基于图像识别，确定是否有至少一个对象是候选同伴屏幕设备(CCSD)。至少部分地响应于确定至少一个对象是CCSD，处理器在执行指令时被配置为使得关于可在设备上呈现的主要内容的辅助内容提供给该CCSD，用于辅助内容在其上呈现，和/或使得关于访问辅助内容的消息提供给该CCSD，用于该消息在其上呈现。
在一些实施例中，处理器在执行指令时被配置为，响应于确定至少一个对象是CCSD，确定该CCSD是否处于预定的配置，并且只有当CCSD处于预定的配置时，才使得关于可在设备上呈现的主要内容的辅助内容提供给CCSD，用于辅助内容在其上呈现，和/或使得关于访问辅助内容的消息提供给CCSD，用于该消息在其上呈现。
在例子中，处理器在执行指令时被配置为命令CCSD点亮灯和/或发出声啁啾，并且只有当设备检测到灯被点亮或者检测到啁啾时，才使得关于可在设备上呈现的主要内容的辅助内容提供给CCSD，用于辅助内容在其上呈现，和/或使得关于访问辅助内容的消息提供给CCSD，用于该消息在其上呈现。
在例子中，处理器在执行指令时被配置为响应于确定第一网络设备未被成像而从在设备上呈现的网络设备发现列表中除去该第一网络设备。
在另一方面，一种方法包括成像显示设备前面的空间，并且对空间中的对象执行图像识别。至少部分地基于图像识别，该方法确定是否有至少一个对象是候选同伴屏幕设备(CCSD)。至少部分地响应于确定至少一个对象是CCSD，采取同伴屏幕活动。
在另一方面，一种设备包括至少一个承载可由处理器执行的指令的计算机可读存储介质，以及至少一个配置为用于访问计算机可读存储介质以便执行指令的处理器，其中指令把处理器配置为利用相机和图像识别把候选同伴屏幕设备定位为与主设备在相同的房间内。响应于把候选同伴屏幕设备定位为与主设备在相同的房间内，处理器在执行指令时被配置为使得关于在主显示设备上示出的内容的辅助内容提供给同伴屏幕设备(CSD)。
附图说明
参考附图，本发明关于其结构和操作的细节都可以得到最好的理解，其中相同的标号指相同的部分，并且其中：
图1是包括根据本原理的例子的示例系统的框图；
图2和3是示出根据本原理的示例算法的流程图；及
图4-6是根据本原理的示例屏幕截图。
具体实施方式
本公开内容一般而言涉及计算机生态系统，包括计算机生态系统中基于消费者电子(CE)设备的用户信息的各方面。本文的系统可以包括经网络连接的服务器和客户端部件，使得数据可以在客户端与服务器部件之间交换。客户端部件可以包括一个或多个计算设备，包括便携式电视(例如，智能TV、启用因特网的TV)、诸如膝上型电脑和平板电脑的便携式计算机以及包括智能电话和以下讨论的附加例子的其它移动设备。这些客户端设备可以与各种操作环境一起工作。例如，作为例子，有些客户端计算机可以采用来自Microsoft的操作系统，或Unix操作系统，或者由AppleComputer或Google生产的操作系统。这些操作环境可以用来执行一个或多个浏览程序，诸如由Microsoft或Google或Mozilla制作的浏览器或者其它可以访问由以下讨论的因特网服务器托管的web应用的浏览器程序。
服务器可以包括执行指令的一个或多个处理器，其中指令把服务器配置为经诸如因特网的网络接收和发送数据。或者，客户端和服务器可以经局部内联网或虚拟专用网络连接。
信息可以经网络在客户端与服务器之间交换。为此并且为了安全性，服务器和/或客户端可以包括防火墙、负载平衡器、临时储存器和代理服务器，以及其它用于可靠性和安全性的网络基础架构。一个或多个服务器可以构成装置，该装置实现向网络成员提供诸如在线社交网站的安全社区的方法。
如本文所使用的，指令指用于在系统中处理信息的计算机实现的步骤。指令可以在软件、固件或硬件中实现并且包括由系统的部件采取的任何类型的编程步骤。
处理器可以是任何常规的可以通过诸如地址线、数据线和控制线的各种线路以及寄存器和移位寄存器执行逻辑的通用单芯片或多芯片处理器。
本文通过流程图和用户界面描述的软件模块可以包括各种子例程、过程等。不限定本公开内容，被陈述为由特定模块执行的逻辑可以重新分配给其它软件模块和/或在单个模块中组合到一起和/或使其在可共享的库中可用。
本文所描述的本原理可以实现为硬件、软件、固件或者其组合；由此，说明性部件、方框、模块、电路和步骤是就其功能性来阐述的。
补充以上所提到的，以下描述的逻辑方框、模块和电路可以利用设计为执行本文所述功能的通用处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或者诸如专用集成电路(ASIC)、离散门或晶体管逻辑、离散硬件部件的其它可编程逻辑设备或者其任意组合来实现或执行。处理器可以由控制器或状态机或者计算设备的组合来实现。
当在软件中实现时，以下所述的功能和方法可以用适当的语言编写，诸如但不限于C#或C++，并且可以存储在计算机可读存储介质上或者通过其发送，其中计算机可读存储介质诸如随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、紧致盘只读存储器(CD-ROM)或者其它诸如数字多样化盘(DVD)的光盘储存器、磁盘储存器或者包括可移动拇指驱动器的其它磁存储设备，等等。连接可以确立计算机可读介质。作为例子，这种连接可以包括硬连线电缆，包括光纤和同轴电线以及数字用户线(DSL)和双绞线。这种连接可以包括无线通信连接，包括红外线和无线电。
一种实施例中包括的部件可以以任何适当的组合在其它实施例中使用。例如，本文所述和/或在附图中绘出的任何各种部件可以与其它实施例组合、互换或者从其它实施例排除。
“具有A、B和C当中至少一个的系统”(同样，“具有A、B或C当中至少一个的系统”和“具有A、B、C当中至少一个的系统”)包括具有仅A、仅B、仅C、A和B一起、A和C一起、B和C一起和/或A、B和C一起的系统，等等。
现在具体地参考图1，示出了根据本原理的示例生态系统10，该系统可以包括以上提到并且以下进一步描述的示例设备当中的一个或多个。系统10中所包括的第一个示例设备是示例主显示设备，并且在实施例中示为音频视频显示设备(AVDD)12，诸如但不限于启用因特网的TV。因而，作为替代，AVDD12可以是器具或家用物品，例如，计算机化的启用因特网的冰箱、洗衣机或烘干机。作为替代，AVDD12还可以是计算机化的启用因特网的(“智能”)电话、平板电脑、笔记本电脑、可佩带的计算机化设备，诸如像计算机化的启用因特网的手表、计算机化的启用因特网的手镯，其它计算机化的启用因特网的设备、计算机化的启用因特网的音乐播放器、计算机化的启用因特网的耳机、计算机化的启用因特网的可植入设备，诸如可植入皮肤的设备，等等。不管怎样，都应当理解，AVDD12配置为采用本原理(例如，与其它CE设备通信，以采用所给出的原理、执行本文所述的逻辑，并且执行本文所述的任何其它功能和/或操作)。
因而，为了采用这种原理，AVDD12可以由图1中所示的一些或全部部件确立。例如，AVDD12可以包括可以由高清晰度或超高清晰度平板屏幕实现并且可以启用触摸以便经显示器上的触摸接收用户输入信号的一个或多个显示器14。AVDD12可以包括用于根据本原理输出音频的一个或多个扬声器16，以及至少一个附加的输入设备18，诸如像例如用于把可听命令输入AVDD12以便控制AVDD12的音频接收器/麦克风。示例AVDD12还可以包括用于在一个或多个处理器24的控制下经至少一个网络22，诸如因特网、WAN、LAN等，通信的一个或多个网络接口20。因而，接口20可以是，但不限于，Wi-Fi收发器，这是无线计算机网络接口的例子。应当理解，处理器24控制AVDD采用本原理，包括本文所述的AVDD12的其它元件，诸如像控制显示器14在其上呈现图像并且从其接收输入。此外，应当指出，网络接口20可以是例如有线或无线调制解调器或路由器，或者其它适当的接口，诸如像无线电话收发器，或者如以上提到的Wi-Fi收发器，等等。
除了前面所述，AVDD12还可以包括一个或多个输入端口26，诸如像(例如，利用有线连接)物理地连接到另一CE设备的USB端口和/或把耳机连接到AVDD12以便通过耳机把来自AVDD12的音频呈现给用户的耳机端口。AVDD12还可以包括一个或多个有形的计算机可读存储介质28，诸如基于盘的或者固态的储存器。而且，在一些实施例中，AVDD12可以包括位置或地点接收器，诸如但不限于配置为例如从至少一个卫星或手机塔接收地理位置信息并且把该信息提供给处理器24和/或结合处理器24确定AVDD12所处海拔高度的手机接收器、GPS接收器和/或高度计30。但是，应当理解，除手机接收器、GPS接收器和/或高度计之外的另一合适的位置接收器也可以根据本原理被用来例如在例如所有三个维度中确定AVDD12的位置。
继续AVDD12的描述，在一些实施例中，AVDD12可以包括一个或多个相机32，其中相机可以是例如热成像相机、诸如网络摄像头的数码相机，和/或集成到AVDD12中并可由处理器24控制为根据本原理收集图片、图像和/或视频的相机。在AVDD12上还包括的可以是蓝牙模块34和其它近场通信(NFC)元件36，用于分别利用蓝牙和/或NFC技术与其它设备通信。示例NFC元件可以是射频识别(RFID)元件。应当指出，元件34、36等其它本文所述的适当元件可以结合到相关联设备的外罩和机箱内或者作为通用串行总线(USB)2/3加密狗(dongle)设备提供。
关于蓝牙模块68，它可以实现为利用低功耗蓝牙(BluetoothLowEnergy，BLE)和标准蓝牙系统当中任意一种或二者实现通信的BLE模块和/或蓝牙4.0模块。如本文所理解的，BLE在与经典蓝牙技术相同的频谱范围(2.400GHz-2.4835GHz频带)内操作，但是使用一组不同的通道。代替蓝牙的七十九条1-MHz通道，BLE采用四十条2-MHz通道。BLE利用高斯频移调制在通道内发送数据，具有每秒一兆字节的数据率和十毫瓦(10mW)的最大传输功率。
还有，AVDD12可以包括一个或多个向处理器24提供输入的辅助传感器37(例如，诸如加速计、陀螺仪、记转器的运动传感器，或者磁性传感器、红外线(IR)传感器、光学传感器、速度和/或韵律传感器、姿态传感器(例如，用于感测姿态命令)，等等)。AVDD12还可以包括向处理器24提供输入的其它传感器，诸如像一个或多个气候传感器38(例如，气压计、湿度传感器、风力传感器、光传感器、温度传感器，等等)和/或一个或多个生物测定传感器40。除了前面所述，还应当指出，AVDD12还可以包括红外线(IR)发送器和/或IR接收器和/或IR收发器42，诸如IR数据关联(IRdataassociation，IRDA)设备。可以提供给AVDD12供电的电池(未示出)。
仍然参考图1，除了AVDD12，系统10还可以包括一个或多个可以为由AVDD12确立的主显示设备确立候选同伴屏幕设备的其它CE设备类型。在一个例子中，第一候选同伴屏幕设备由第一CE设备44确立，而第二同伴屏幕设备可以由第二CE设备46确立，其中第二CE设备46可以包括与第一CE设备44类似的部件，因此将不详细地进行讨论。在所示出的例子中，只示出两个CE设备44、46作为候选同伴屏幕设备，但是应当理解，可以使用仅一个候选同伴屏幕设备或者多于两个候选同伴屏幕设备。
在所示出的例子中，为了说明本原理，所有三个设备12、44、46都被假设是住宅内家庭娱乐网络的成员，或者至少在诸如房屋的地点彼此接近地存在。但是，为了说明本原理，第一CE设备44被假设在与AVDD12相同的房间内，该房间由虚线48说明的墙壁界定，而第二CE设备46在被墙壁48界定的房间之外，但是不一定比第一CE设备44离AVDD12更远并且事实上有可能比第一CE设备44离AVDD12更近。
示例的非限制性第一CE设备44可以由以上提到的任一设备确立并且相应地可以具有以下所描述的一个或多个部件。具体而言，第一CE设备44可以包括一个或多个显示器50，显示器可以是启用触摸的，用于经显示器上的触摸接收用户输入信号。第一CE设备44可以包括一个或多个用于根据本原理输出音频的扬声器52，以及至少一个附加的输入设备54，诸如像用于把可听命令输入第一CE设备44以便控制设备44的音频接收器/麦克风。示例的第一CE设备44还可以包括在一个或多个CE设备处理器58的控制下经网络22通信的一个或多个网络接口56。因此，接口56可以是，但不限于，Wi-Fi收发器，这是无线计算机网络接口的例子。应当理解，处理器58控制第一CE设备44采用本原理，包括本文所述的第一CE设备44的其它元件，诸如像控制显示器50在其上呈现图像并且从其接收输入。此外，应当指出，网络接口56可以是，例如，有线或无线调制解调器或路由器，或者其它适当的接口，诸如像无线电话收发器，或如上提到的Wi-Fi收发器，等等。
除了以上所述，第一CE设备44还可以包括一个或多个输入端口60，诸如像(例如，利用有线连接)物理地连接到另一CE设备的USB端口和/或把耳机连接到第一CE设备44以便通过耳机把来自第一CE设备44的音频呈现给用户的耳机端口。第一CE设备44还可以包括一个或多个有形的计算机可读存储介质62，诸如基于盘的或者固态的储存器。而且，在一些实施例中，第一CE设备44可以包括位置或地点接收器，诸如但不限于配置为例如利用三角测量从至少一个卫星和/或手机塔接收地理位置信息并且把该信息提供给CE设备处理器58和/或结合CE设备处理器58确定第一CE设备44所处海拔高度的手机和/或GPS接收器和/或高度计64。但是，应当理解，除手机和/或GPS接收器和/或高度计之外的另一合适的位置接收器也可以根据本原理用来例如在例如所有三个维度中确定第一CE设备44的位置。
继续第一CE设备44的描述，在一些实施例中，第一CE设备44可以包括一个或多个相机66，其中相机可以是例如热成像相机、诸如网络摄像头的数码相机，和/或集成到第一CE设备44中并可由CE设备处理器58控制为根据本原理收集图片/图像和/或视频的相机。
在第一CE设备44上还包括的可以是蓝牙模块68和其它近场通信(NFC)元件70，用于分别利用蓝牙和/或NFC技术与其它设备通信。示例NFC元件可以是射频识别(RFID)元件。蓝牙模块68的配置和使用可以基本上与PDD的蓝牙模块34相似。
还有，第一CE设备44可以包括一个或多个向CE设备处理器58提供输入的辅助传感器72(例如，诸如加速计、陀螺仪、记转器的运动传感器，或者磁性传感器、红外线(IR)传感器、光学传感器、速度和/或韵律传感器、姿态传感器(例如，用于感测姿态命令)，等等)。第一CE设备44还可以包括向CE设备处理器58提供输入的其它传感器，诸如像一个或多个气候传感器74(气压计、湿度传感器、风力传感器、光传感器、温度传感器，等等)和/或一个或多个生物测定传感器76。除了前面所述，还应当指出，在一些实施例中，第一CE设备44还可以包括红外线(IR)发送器和/或IR接收器和/或IR收发器42，诸如IR数据关联(IRDA)设备。可以提供给第一CE设备44供电的电池(未示出)。第二CE设备46可以包括为CE设备44示出的一些或全部部件。
现在参考以上提到的至少一个服务器80，它包括至少一个服务器处理器82、至少一个诸如基于盘的或固态储存器的有形计算机可读存储介质84，以及至少一个网络接口86，在服务器处理器82的控制下，网络接口86允许经网络22与图1的其它设备进行通信，并且实际上可以方便根据本原理的服务器和客户端设备之间的通信。应当指出，网络接口86可以是，例如，有线或无线调制解调器或路由器、Wi-Fi收发器，或者其它适当的接口，诸如像无线电话收发器。
因而，在一些实施例中，服务器80可以是因特网服务器，并且可以包括并执行“云”功能，使得在示例实施例中系统10的设备可以经服务器80访问“云”环境。
图2示出了根据本原理的总体逻辑。在一些例子中，事件触发可以在方框88被接收，以激活随后的逻辑。例如，在AVDD12上所呈现的广播频道中，特定的演员或产品或声音可以出现或者节目可以改变，如由节目中的元数据或者通过AVDD处理器24对所要求图像的识别或者通过在AVDD12扬声器16上呈现的声音的识别所指示的，其中声音由麦克风18检测并由处理器24分析，这种分析可以是以独立模式和/或通过把图像/声音上载到云服务器80进行分析，云服务器80把分析结果发送回AVDD12。或者，利用以下检测原理，利用这种识别作为触发，AVDD12可以认识到候选同伴设备44或46已经被带到AVDD12处于其中的房间内。
在任何情况下，如以下在方框90进一步阐述的，AVDD12定位与AVDD12处于相同房间内的同伴屏幕，从而筛选出可能邻近但在墙壁48之外的候选同伴屏幕。在方框92，通过例如把同伴屏幕链接到与在AVDD12上呈现的节目关联的计算机站点，为被检测为与AVDD12在相同房间内的一个或多个候选同伴屏幕提供关于在AVDD12上呈现的节目的辅助馈送。这种链接可能需要简单地从AVDD12向同伴屏幕提供用户可以选择的网络地址或链接，以便使网络浏览器在提供辅助馈送/内容/数据(可互换使用)的家庭网络上、在PDD自身上或者在因特网上访问计算机网络站点，或者链接可以更加自动化，例如，AVDD可以命令同伴屏幕设备自动地访问特定的网络站点并自动地开始下载辅助馈送/内容/数据，而无需任何用户动作来实现这些。
应当指出，图2的逻辑可以被CCSD用来定位要把内容沿上述线路“扔”到其的PDD。
图3说明了示例逻辑。通常，PDD利用例如通用即插即用(UPnUP)、“Bonjour”或其它设备发现协议发现本地网络上附近的无线设备。窍门是知道这些设备当中哪个与PDD处于相同的房间内并且因此是用作同伴屏幕的合适候选，而无需强迫用户整理(sortthrough)联网设备的列表并判定哪个在该房间内。
在方框94继续，PDD使用其相机来成像该PDD附近的空间。这可以是周期性过程、连续过程，或者只在每个触发事件开始的过程，诸如但不限于上述示例触发事件。
如果在决定菱形框96确定CCSD已经被成像，则在一些可选的实施例中逻辑可以移动到决定菱形框98，以确定CCSD是否处于被用作CCSD的适当配置。例如，如果被成像的CCSD被确定为翻盖设备并且处于闭合配置，则在决定菱形框98的测试可以为负，而如果处于打开配置，则决定菱形框98的测试可以为正。
在决定菱形框96和98进行测试时，执行处理器可以访问用于各种潜在CCSD的图像模板的库，例如，用于各种型号无线电话(如果期望，按型号类型排列)、便携式计算设备等的模板图像的库，并且图像中的对象与这些模板进行比较，以确定被成像的对象是否与模板匹配。库可以存储在云服务器上并且经因特网被访问，或者它可以在PDD数据存储设备上在PDD本地存储，或者其组合。在发现匹配时，匹配的对象被认为是CCSD。图像模板可以包括处于各种配置的多个个别CCSD的图像，以支持在可选状态98的测试，其中每个图像指示它是否具有适于用作CCSD的CCSD配置。
如果CCSD在PDD的视场内被成像，这指示CCSD与PDD在相同的房间内，并且假设，当状态98被采用时，CCSD处于适当的配置，则逻辑可以流向可选的确认方框100。在确认方框100，PDD可以利用CCSD的网络地址把蓝牙或WiFi或其它无线命令发送到CCSD(回想CCSD的网络地址通常已经事先被发现)，从而命令CCSD点亮CCSD上的外部灯，或者发送可以被PDD的麦克风检测的可听啁啾。如果在发送命令紧后通过例如成像CCSD上的灯的照明或者通过检测可听的啁啾在决定菱形框102接收到正确的响应，则逻辑可以前进到方框104。否则，逻辑循环返回决定菱形框96或者到方框100，以选择被发现设备的列表中的另一CCSD，以命令点亮灯或者发出啁啾。当方框100被略去时，逻辑可以从处于状态96和/或状态98(当使用状态98时)的肯定测试前进到方框104。
在方框104，消息可以从PDD(例如，通过蓝牙模块或NFC元件36或者网络接口20或IR元件)发送到CCSD(例如，利用其适当的网络地址)，从而恳求使用该CCSD作为PDD的同伴屏幕。这种消息的例子以下进一步示出。然后，如果被恳求的CCSD的用户接受恳求，则可以采用图2中方框92的逻辑。当然，当图3的逻辑颠倒过来时，这一段的讨论同样颠倒，因为CCSD可以恳求PDD作为同伴屏幕。
应当指出，如果存在多个向其“扔”内容的同伴屏幕，则每个这种同伴屏幕可以被恳求或者只有在相机视场内具有最大对象尺寸的同伴屏幕可以被恳求。或者，只有其图像匹配特定型号的模板图像的PDD的同步屏幕可以被恳求。或者，只有具有特定朝向的CCSD可以被恳求。例如，成像为平躺并且被识别为笔记本电脑的CCSD不能被恳求，而被成像为其屏幕部分枢轴转动远离其键盘部分的相同CCSD可以被恳求。
此外，可以使被可视识别的同伴屏幕(如通过来自“扔”设备的命令)自动访问特定的网络站点(如通过伴随主要内容的元数据)并且自动开始下载辅助馈送/内容/数据，而无需任何用户动作来完成这个目的。
在一些实施例中，方框106可以被执行，以修剪在PDD上呈现的被发现设备的网络列表，以便只包括在方框94被确定为已成像的CCSD。就从列表清除混乱并且只显示最有可能让用户感兴趣的网络设备而言，这简化了用户体验。
图4示出了在CCSD的显示器50上呈现示例恳求消息142的示例UI。用户可以选择“是”选择器元素144来接受CCSD作为PDD的同伴屏幕，在这种情况下，PDD可以向CCSD发送到计算机站点或广播站点或其它站点的链接以便下载辅助内容，或者由其自己根据它接收但未在主显示器14上显示的数据来提供辅助内容。或者，响应于选择选择器144，PDD可以自动地使CCSD自动地并且无需用户交互地开始如上所述地下载辅助内容。用户可以通过选择“否”选择器元素146来拒绝把CCSD用作同伴设备。
图5说明了按照上述“自动链接”逻辑当中任何一个可以在CCSD的显示器50上呈现的示例UI。如所示出的，消息148可以通知CCSD的用户该CCSD已经被选作同伴设备，并且显示器50的窗口150被用来呈现辅助内容。可以呈现拒绝选择器152，当其被选择时，至少暂时地停止或以别的方式禁止CCSD用作PDD的同伴屏幕。
图6说明了可以在设置模式下在CCSD的显示器50上呈现的示例UI，以便从根本上允许用户在图5和6中体现的两种模式之间进行选择。可以呈现消息154，询问用户当CCSD与PDD在相同的房间内时用户是否愿意让CCSD接受自动选择作为PDD的同伴屏幕。“是”选择器156使用户能够选择这个特征，而“否”选择器158使用户能够拒绝CCSD被自动选作同伴屏幕。
虽然本文已经示出并具体地描述了“利用相机对与主显示器在相同房间内的候选同伴显示设备的接近性检测”，但是应当理解，本发明所涵盖的主题只受权利要求的限制。

Claims (23)

1.一种确定候选同伴屏幕设备CCSD的设备，包括：
至少一个计算机可读存储介质，承载可由处理器执行的指令；
至少一个处理器，配置为用于访问计算机可读存储介质，以执行指令，其中指令把处理器配置为：
使设备成像该设备前面的空间；
对该空间中的对象执行图像识别；
至少部分地基于图像识别，确定是否有至少一个对象是候选同伴屏幕设备CCSD；及
至少部分地响应于确定至少一个对象是CCSD，使得关于可在设备上呈现的主要内容的辅助内容提供给该CCSD，用于辅助内容在其上呈现，和/或使得关于访问辅助内容的消息提供给该CCSD，用于该消息在其上呈现。
2.如权利要求1所述的设备，其中处理器在执行指令时被配置为，响应于确定至少一个对象是CCSD，确定该CCSD是否处于预定的配置，并且只有当CCSD处于预定的配置时，才使得关于可在设备上呈现的主要内容的辅助内容提供给CCSD，用于辅助内容在其上呈现，和/或使得关于访问辅助内容的消息提供给CCSD，用于该消息在其上呈现。
3.如权利要求1所述的设备，其中处理器在执行指令时被配置为命令CCSD点亮灯和/或发出声啁啾，并且只有当设备检测到灯被点亮或者检测到啁啾时，才使得关于可在设备上呈现的主要内容的辅助内容提供给CCSD，用于辅助内容在其上呈现，和/或使得关于访问辅助内容的消息提供给CCSD，用于该消息在其上呈现。
4.如权利要求1所述的设备，其中处理器在执行指令时被配置为使得关于可在设备上呈现的主要内容的辅助内容提供给CCSD，用于辅助内容在其上呈现。
5.如权利要求1所述的设备，其中处理器在执行指令时被配置为使得关于访问辅助内容的消息提供给CCSD，用于该消息在其上呈现。
6.如权利要求1所述的设备，其中处理器在执行指令时被配置为响应于确定第一网络设备未被成像而从在设备上呈现的网络设备发现列表中除去第一网络设备。
7.一种确定候选同伴屏幕设备CCSD的方法，包括：
成像显示设备前面的空间；
对该空间中的对象执行图像识别；
至少部分地基于图像识别，确定是否有至少一个对象是候选同伴屏幕设备CCSD；及
至少部分地响应于确定至少一个对象是CCSD，采取同伴屏幕活动。
8.如权利要求7所述的方法，其中同伴屏幕活动包括使得关于可在设备上呈现的主要内容的辅助内容提供给CCSD，用于辅助内容在其上呈现。
9.如权利要求7所述的方法，其中同伴屏幕活动包括使得关于访问辅助内容的消息提供给CCSD，用于该消息在其上呈现。
10.如权利要求7所述的方法，包括，响应于确定至少一个对象是CCSD，确定该CCSD是否处于预定的配置，并且只有当CCSD处于预定的配置时，才使得关于可在设备上呈现的主要内容的辅助内容提供给CCSD，用于辅助内容在其上呈现，和/或使得关于访问辅助内容的消息提供给CCSD，用于该消息在其上呈现。
11.如权利要求7所述的方法，包括命令CCSD点亮灯和/或发出声啁啾，并且只有当被点亮的灯被成像为被点亮或者啁啾被检测到时，才使得关于可在设备上呈现的主要内容的辅助内容提供给CCSD，用于辅助内容在其上呈现，和/或使得关于访问辅助内容的消息提供给CCSD，用于该消息在其上呈现。
12.如权利要求7所述的方法，包括响应于确定第一网络设备未被成像而从在设备上呈现的网络设备发现列表中除去第一网络设备。
13.一种确定同伴屏幕设备CSD的设备，包括：
至少一个计算机可读存储介质，承载可由处理器执行的指令；
至少一个处理器，配置为用于访问计算机可读存储介质，以执行指令，其中指令把处理器配置为：
利用相机和图像识别把候选同伴屏幕设备定位为与主设备在相同的房间内，并且响应于把该同伴屏幕设备定位为与主设备在相同的房间内，使得关于在主显示设备上示出的内容的辅助内容提供给该同伴屏幕设备CSD。
14.如权利要求13所述的设备，其中主设备是主显示设备(PDD)。
15.如权利要求14所述的设备，其中处理器在执行指令时被配置为用于：
使设备成像该设备前面的空间；
对该空间中的对象执行图像识别；
至少部分地基于图像识别，确定是否有至少一个对象是CSD；及
至少部分地响应于确定至少一个对象是CSD，使得关于可在设备上呈现的主要内容的辅助内容提供给该CSD，用于辅助内容在其上呈现，和/或使得关于访问辅助内容的消息提供给该CSD，用于该消息在其上呈现。
16.如权利要求15所述的设备，其中处理器在执行指令时被配置为，响应于确定至少一个对象是CSD，确定该CSD是否处于预定的配置，并且只有当CSD处于预定的配置时，才使得关于可在设备上呈现的主要内容的辅助内容提供给CSD，用于辅助内容在其上呈现，和/或使得关于访问辅助内容的消息提供给CSD，用于该消息在其上呈现。
17.如权利要求15所述的设备，其中处理器在执行指令时被配置为命令CSD点亮灯和/或发出声啁啾，并且只有当设备检测到灯被点亮或者检测到啁啾时，才使得关于可在设备上呈现的主要内容的辅助内容提供给CSD，用于辅助内容在其上呈现，和/或使得关于访问辅助内容的消息提供给CSD，用于该消息在其上呈现。
18.如权利要求15所述的设备，其中处理器在执行指令时被配置为使得关于可在设备上呈现的主要内容的辅助内容提供给CSD，用于辅助内容在其上呈现。
19.如权利要求15所述的设备，其中处理器在执行指令时被配置为使得关于访问辅助内容的消息提供给CSD，用于该消息在其上呈现。
20.如权利要求15所述的设备，其中处理器在执行指令时被配置为响应于确定第一网络设备未被成像而从在设备上呈现的网络设备发现列表中除去第一网络设备。
21.一种确定候选同伴屏幕设备CCSD的设备，包括：
相机，其配置为成像该设备前面的空间；和
一个或多个处理器，其配置为：
对该空间中的对象执行图像识别；
至少部分地基于图像识别，确定是否有至少一个对象是候选同伴屏幕设备CCSD；及
至少部分地响应于确定至少一个对象是CCSD，使得关于可在设备上呈现的主要内容的辅助内容提供给该CCSD，用于辅助内容在其上呈现，和/或使得关于访问辅助内容的消息提供给该CCSD，用于该消息在其上呈现。
22.一种确定候选同伴屏幕设备CCSD的设备，包括：
相机，其被配置为成像该设备前面的空间；以及
一个或多个处理器，其被配置为
对该空间中的对象执行图像识别；
至少部分地基于图像识别，确定是否有至少一个对象是候选同伴屏幕设备CCSD；及
至少部分地响应于确定至少一个对象是CCSD，采取同伴屏幕活动。
23.一种确定同伴屏幕设备CSD的设备，包括：
相机，被配置为其成像该设备前面的空间；以及
一个或多个处理器，被配置为利用图像识别把候选同伴屏幕设备定位为与主设备在相同的房间内，并且响应于把该同伴屏幕设备定位为与主设备在相同的房间内，使得关于在主显示设备上示出的内容的辅助内容提供给该同伴屏幕设备CSD。
CN201510198355.0A 2014-04-29 2015-04-24 对与主显示器在相同房间内的候选同伴显示设备的检测 Pending CN105049924A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/264,435 US20150310831A1 (en) 2014-04-29 2014-04-29 Proximity detection of candidate companion display device in same room as primary display using camera
US14/264,435 2014-04-29

Publications (1)

Publication Number Publication Date
CN105049924A true CN105049924A (zh) 2015-11-11

Family

ID=53274348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510198355.0A Pending CN105049924A (zh) 2014-04-29 2015-04-24 对与主显示器在相同房间内的候选同伴显示设备的检测

Country Status (5)

Country Link
US (1) US20150310831A1 (zh)
EP (1) EP2941023B1 (zh)
JP (1) JP6128349B2 (zh)
KR (1) KR101640710B1 (zh)
CN (1) CN105049924A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020753B (zh) * 2016-05-06 2019-03-29 联想(北京)有限公司 控制方法及电子设备
US10417515B2 (en) 2017-01-09 2019-09-17 Microsoft Technology Licensing, Llc Capturing annotations on an electronic display
CN109525644B (zh) * 2018-10-19 2020-05-19 珠海格力电器股份有限公司 机器与位置的匹配方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102244676A (zh) * 2010-05-14 2011-11-16 Lg电子株式会社 电子设备和与其他设备共享电子设备的内容的方法
US20120272158A1 (en) * 2008-11-15 2012-10-25 Adobe Systems Incorporated Method and device for identifying devices which can be targeted for the purpose of establishing a communication session

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL127790A (en) * 1998-04-21 2003-02-12 Ibm System and method for selecting, accessing and viewing portions of an information stream(s) using a television companion device
TW463503B (en) * 1998-08-26 2001-11-11 United Video Properties Inc Television chat system
JP2005192098A (ja) * 2003-12-26 2005-07-14 Hitachi Maxell Ltd 無線通信端末及び無線通信システム
JP4572928B2 (ja) * 2007-11-08 2010-11-04 ソニー株式会社 遠隔制御端末、情報取得装置、情報提供装置、情報提供システム、情報提供方法、およびプログラム
US8467991B2 (en) * 2008-06-20 2013-06-18 Microsoft Corporation Data services based on gesture and location information of device
JP2010093515A (ja) * 2008-10-07 2010-04-22 Alpine Electronics Inc モバイル機器データの複数モニタ選択転送システム
US9641884B2 (en) * 2008-11-15 2017-05-02 Adobe Systems Incorporated Method and device for establishing a content mirroring session
JP5407522B2 (ja) * 2009-04-24 2014-02-05 富士通モバイルコミュニケーションズ株式会社 通信機器
KR20120099064A (ko) * 2009-10-29 2012-09-06 톰슨 라이센싱 멀티스크린 대화형 스크린 아키텍쳐
US9035879B2 (en) * 2010-02-12 2015-05-19 Cisco Technology, Inc. Digital signs
JP2011166691A (ja) * 2010-02-15 2011-08-25 Toshiba Corp 電子機器
CN103069843B (zh) * 2010-10-06 2015-09-02 三菱电机株式会社 Av系统
JP6008378B2 (ja) * 2011-02-21 2016-10-19 日本電気株式会社 端末装置、表示装置、端末装置連動システム、端末装置連動方法、及びプログラム
JP5255674B2 (ja) * 2011-06-14 2013-08-07 シャープ株式会社 データ送信操作機器、および、データ送信制御方法
JP5254411B2 (ja) * 2011-08-31 2013-08-07 株式会社東芝 受信装置、受信方法及び外部装置連携システム
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
US20150002380A1 (en) * 2011-12-28 2015-01-01 Sony Corporation Display apparatus, display control method, and portable terminal apparatus, and program
EP2632190A1 (en) * 2012-02-24 2013-08-28 Research In Motion Limited Method and apparatus for interconnecting devices
JP5557939B2 (ja) * 2012-03-29 2014-07-23 株式会社Ｎｔｔドコモ 携帯端末、情報再生システムおよび情報再生方法
US9055337B2 (en) * 2012-05-17 2015-06-09 Cable Television Laboratories, Inc. Personalizing services using presence detection
US9891722B2 (en) * 2013-03-11 2018-02-13 Barnes & Noble College Booksellers, Llc Stylus-based notification system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120272158A1 (en) * 2008-11-15 2012-10-25 Adobe Systems Incorporated Method and device for identifying devices which can be targeted for the purpose of establishing a communication session
CN102244676A (zh) * 2010-05-14 2011-11-16 Lg电子株式会社 电子设备和与其他设备共享电子设备的内容的方法

Also Published As

Publication number Publication date
KR101640710B1 (ko) 2016-07-22
KR20150124890A (ko) 2015-11-06
EP2941023B1 (en) 2019-12-04
JP6128349B2 (ja) 2017-05-17
JP2015211475A (ja) 2015-11-24
EP2941023A1 (en) 2015-11-04
US20150310831A1 (en) 2015-10-29

Similar Documents

Publication Publication Date Title
CN104869662A (zh) 利用Wi-Fi或蓝牙信号强度确定候选同伴显示设备
CN105634881B (zh) 应用场景推荐方法及装置
CN105049922A (zh) 用upnp对与主显示器在相同房间的候选同伴设备的接近检测
US9426551B2 (en) Distributed wireless speaker system with light show
CN104460329A (zh) 智能设备连接方法及装置
KR102498714B1 (ko) 콘텐트 제공을 위한 전자 장치 및 방법
KR101691284B1 (ko) 적외선 시그널링을 이용하여 주 디스플레이와 같은 방에 있는 후보 동반 디스플레이 디바이스의 근접 검출
CN110519134A (zh) 家居设备控制方法及装置、存储介质
CN104954209A (zh) 衣架控制方法、装置及智能衣柜
US10070291B2 (en) Proximity detection of candidate companion display device in same room as primary display using low energy bluetooth
CN105049924A (zh) 对与主显示器在相同房间内的候选同伴显示设备的检测
JP2021152928A (ja) 端末装置、方法、およびプログラム
US9858024B2 (en) Proximity detection of candidate companion display device in same room as primary display using sonic signaling
CN106997506A (zh) 用于跨设备营销的同一空间设备的分组方法及其系统
CN105307007B (zh) 节目分享方法、装置及系统
CN108432160A (zh) 在无线通信系统中基于声音信号发送和接收数据的设备和方法
CN105490892A (zh) 同伴显示设备上放大内容的呈现
US9496922B2 (en) Presentation of content on companion display device based on content presented on primary display device
CN105933371B (zh) 统一的通知和响应系统
JP6668519B1 (ja) リモコン機能設定プログラム、リモコンサーバ、リモコン機能設定方法、携帯端末

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20151111