CN107770238B - 用于基于图像处理进行数据通信的系统和方法 - Google Patents

用于基于图像处理进行数据通信的系统和方法 Download PDF

Info

Publication number
CN107770238B
CN107770238B CN201710682917.8A CN201710682917A CN107770238B CN 107770238 B CN107770238 B CN 107770238B CN 201710682917 A CN201710682917 A CN 201710682917A CN 107770238 B CN107770238 B CN 107770238B
Authority
CN
China
Prior art keywords
electronic devices
electronic device
electronic
identified
circuits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710682917.8A
Other languages
English (en)
Other versions
CN107770238A (zh
Inventor
A·赫布苏尔
M·苏利巴哈维
P·钦塔拉普蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107770238A publication Critical patent/CN107770238A/zh
Application granted granted Critical
Publication of CN107770238B publication Critical patent/CN107770238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0806—Configuration setting for initial configuration or provisioning, e.g. plug-and-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/303—Terminal profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/175—Controlling the light source by remote control
    • H05B47/19—Controlling the light source by remote control via wireless transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/284—Home automation networks characterised by the type of medium used
    • H04L2012/2841—Wireless
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/175—Controlling the light source by remote control
    • H05B47/196—Controlling the light source by remote control characterised by user interface arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Graphics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及用于基于图像处理进行数据通信的系统和方法。本文公开了一种用于基于图像处理进行数据通信的系统和方法的各种方面。根据实施例，系统包括第一电子设备，该第一电子设备控制第一电子设备上的图像的显示。图像包括通信地耦合到无线通信网络的一个或多个其它电子设备。基于与一个或多个其它电子设备相关联的身份参数识别所显示图像中的一个或多个其它电子设备。基于与所识别的一个或多个其它电子设备相关联的设备设置控制所识别一个或多个其它电子设备中的第二电子设备。

Description

用于基于图像处理进行数据通信的系统和方法
对相关申请的交叉引用/通过援引结合
无。
技术领域
本公开的各种实施例涉及用于数据通信的系统和方法。更具体而言，本公开的各种实施例涉及用于基于图像处理进行数据通信的系统和方法。
背景技术
通信技术领域的进步已经启用无线网络中的电子设备之间的数据通信。例如，新兴技术(诸如“All-joyn”或物联网(IoT)框架)已经降低了无线网络中电子设备之间数据通信的某些复杂性。然而，在特定场景中，可能仍然难以在电子设备之间建立通信以实现期望的结果。可能希望进一步简化数据通信过程。可能需要增强的系统，该系统可以不仅简化电子设备之间的数据通信过程，而且还向执行数据通信的用户提供直观的体验。
通过如在本申请其余部分中并且参考附图阐述的所述系统与本公开的一些方面的比较，常规和传统方式的其它限制和缺点将对于本领域的技术人员变得显而易见。
发明内容
一种用于基于图像处理进行数据通信的系统和方法基本如附图中的至少一个所示和/或如结合附图中的至少一个所述，并在权利要求中更完整的阐述。
通过连同附图阅读本公开的以下详细描述可以认识本公开的这些和其它特征和优点，在附图中相似的附图标记始终参考相似部分。
附图说明
图1是图示根据本公开实施例的用于基于图像处理进行数据通信的网络环境的框图。
图2是图示根据本公开实施例的示例性电子设备的框图。
图3A、3B和3C共同图示根据本公开实施例的用于实现所公开的用于基于图像处理进行数据通信的系统和方法的第一示例性场景。
图4A、4B和4C共同图示根据本公开实施例的用于实现所公开的用于基于图像处理进行数据通信的系统和方法的第二示例性场景。
图5是图示根据本公开实施例的用于基于图像处理进行数据通信的示例性方法的流程图。
具体实施方式
可以在公开的用于基于图像处理进行数据通信的系统和方法中找到以下描述的实现方式。本公开的示例性方面可以包括一种可以控制第一电子设备上图像的显示的方法。图像可以包括通信地耦合到无线通信网络的一个或多个其它电子设备。可以基于与一个或多个其它电子设备相关联的身份参数在图像中识别一个或多个其它电子设备。可以基于与所识别的一个或多个其它电子设备相关联的设备设置控制所识别的一个或多个其它电子设备的第二电子设备。
根据实施例，第一电子设备可以对应于具有内置图像采集单元的物联网(IoT)设备。包括第二电子设备的一个或多个其它电子设备可以对应于连接到无线通信网络的一个或多个其它IoT设备。
根据实施例，可以通过使用图像处理技术在图像中检测与一个或多个其它电子设备相关联的一个或多个视觉线索。一个或多个视觉线索可以对应于设备标记、设备纹理、形状、尺寸、设备配置和/或其它设备标识符。
根据实施例，可以基于检测到的一个或多个视觉线索、身份参数、第一电子设备相对于一个或多个其它电子设备的位置、第一电子设备相对于一个或多个其它电子设备的朝向、一个或多个其它电子设备距显示图像的第一电子设备的距离识别设备类型。根据实施例，一个或多个其它电子设备的身份参数可以对应于互联网协议(IP)地址、介质访问控制(MAC)地址、唯一设备标识符和/或服务集标识符(SSID)。
根据实施例，可以基于身份参数建立与无线通信网络中所识别的一个或多个其它电子设备的连接。可以在第一电子设备上产生增强现实(AR)视图，以启用对所识别的一个或多个其它电子设备的控制。AR视图可以包括一个或多个其它电子设备的视场(FOV)、与在FOV内显示的所识别一个或多个其它电子设备相关联的一个或多个图形控件和/或按照所识别的一个或多个其它电子设备的设备类型兼容的一个或多个内容项。
根据实施例，可以根据FOV内的所识别的一个或多个其它电子设备的每一个电子设备的设备类型，在AR视图上产生一个或多个图形控件。可以从第一电子设备上的AR视图选择内容项。可以向AR视图上的特定电子设备拖动所选择的内容项，以向所识别的一个或多个其它电子设备之中的特定电子设备发送所选择的内容项。可以基于第一电子设备上所产生的AR视图上的用户输入(或动作)向第二电子设备发送媒体项的视频分量并且向所识别的一个或多个其它电子设备的第三电子设备发送媒体项(相同媒体项)的音频分量。可以基于(一个或多个)用户动作和/或输入进行上述一个或多个操作，诸如选择内容项和/或向AR视图上的特定电子设备拖动所选择的内容项以发起通信。
根据实施例，可以为连接到无线通信网络的多个电子设备来设置设备设置。多个电子设备可以包括一个或多个其它电子设备。可以基于与将对多个电子设备执行的操作相关联的用户偏好和/或基于多个电子设备中的每一个电子设备的设备类型来设置设备设置。可以通过应用机器学习技术基于相对于多个电子设备先前执行的操作的时间分析来动态更新设备设置。
根据实施例，可以从设备设置中选择特定设备设置以控制第二电子设备。可以基于当前的操作状态、将被发送的内容项的数据类型和/或一个或多个兼容内容项或由第二电子设备支持的控制功能来选择特定设备设置。可以由第一电子设备进一步基于从无线通信网络检索的控制信息控制所识别一个或多个其它电子设备的第二电子设备。
根据实施例，可以控制第一电子设备以在AR视图上显示视觉可感知的图形效果，以指示从第一电子设备向一个或多个其它电子设备的数据连续传输。根据所传输数据类型可以实时或接近实时执行视觉可感知的图形效果的显示。
根据实施例，可以基于从无线通信网络检索的控制信息为所识别一个或多个其它电子设备中的每一个电子设备识别兼容媒体类型的列表。控制信息可以包括设备规格信息、设备类型和/或一个或多个视觉线索与无线通信网络中的每一个连接设备的对应唯一设备标识符的映射信息。根据实施例，无线通信网络可以是无线局域网或其它无线通信网络。
图1是图示根据本公开实施例的用于基于图像处理进行数据通信的网络环境的框图。参考图1，示出了网络环境100。网络环境100可以包括第一电子设备102和一个或多个其它电子设备104，诸如第二电子设备104a、第三电子设备104b和第四电子设备104c。还示出了无线通信网络106、用户界面(UI)108和一个或多个用户，诸如用户110。
根据实施例，第一电子设备102可以连接到无线通信网络106。一个或多个其它电子设备104也可以连接到无线通信网络106。第一电子设备102可以与用户110相关联。
第一电子设备102可以包括可以被配置成控制一个或多个其它电子设备104的合适的逻辑、电路系统、接口和/或代码，该其它电子设备可以显示于呈现在第一电子设备102上的UI 108的取景器上。第一电子设备102还可以被配置成存储图像采集应用。图像采集应用可以在第一电子设备102上呈现UI 108。第一电子设备102可以对应于具有内置图像采集单元的物联网(IoT)设备。第一电子设备102的示例可以包括但不限于智能电话、可穿戴设备(诸如，智能眼镜或智能手表)、ma相机、平板计算机、膝上计算机和/或具有内置相机的便携式电子设备。
一个或多个其它电子设备104可以包括可以被配置成经由无线通信网络106向第一电子设备102发送控制信息的合适的逻辑、电路系统、接口和/或代码。一个或多个其它电子设备104可以对应于连接到无线通信网络106的一个或多个其它IoT设备。一个或多个其它电子设备104的示例可以包括但不限于电视、扬声器系统、汽车信息-娱乐系统、智能电话、膝上计算机、IoT设备，诸如照明单元、家庭消费电子家电和/或其它IoT兼容的电子设备。
无线通信网络106可以包括介质，通过该介质第一电子设备102可以与一个或多个其它电子设备104(诸如，第二电子设备104a、第三电子设备104b和第四电子设备104c)通信。无线通信网络106的示例可以包括但不限于基于数字生活网络联盟(DLNA)的网络、无线局域网(WLAN)、因特网或其它无线通信网络。网络环境100中的各种设备可以被配置成根据各种无线通信协议连接到无线通信网络106。这些无线通信协议的示例可以包括但不限于传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传送协议(FTP)、ZigBee、EDGE、红外(IR)、IEEE 802.11、802.16、蜂窝通信协议(诸如，长期演进(LTE))和/或蓝牙(BT)通信协议。
UI 108可以是呈现在第一电子设备102的显示屏上的应用界面。UI 108可以包括一个或多个UI元件，该一个或多个UI元件可以使得用户110能够控制一个或多个其它电子设备104。UI 108可以被进一步配置成显示将被传输到一个或多个其它电子设备104的内容项。UI 108可以适于在第一电子设备102上显示增强现实(AR)视图。UI 108可以适于根据一个或多个其它电子设备104中的每一个电子设备的设备类型在AR视图上显示一个或多个图形控件。
在操作中，用户110可以经由UI 108在第一电子设备102处提供输入。响应于从用户110接收的输入，第一电子设备102可以被配置成在UI 108的至少一部分上显示取景器，以使得能够通过使用第一电子设备102的图像采集单元采集一个或多个图像或视频。用户110然后可以将第一电子设备102的图像采集单元指向一个或多个其它电子设备104，以经由UI 108的取景器将一个或多个其它电子设备104可视化。
第一电子设备102可以被配置成控制第一电子设备102上图像的显示。基于第一电子设备102的图像采集单元的当前视场(FOV)，图像可以包括一个或多个其它电子设备104。根据实施例，第一电子设备102可以被配置成检测第一电子设备102相对于一个或多个其它电子设备104的位置和/或第一电子设备102相对于一个或多个其它电子设备104的朝向。此外，可以确定一个或多个其它电子设备104距显示图像的第一电子设备102的距离。
根据实施例，第一电子设备102可以被配置成基于一个或多个图像处理技术检测所显示图像中的一个或多个其它电子设备104。第一电子设备102可以被配置成检测所显示图像中的与一个或多个其它电子设备104相关联的一个或多个视觉线索。一个或多个视觉线索可以是设备标记、设备纹理、形状、尺寸、设备配置和/或其它设备标识符。
第一电子设备102可以被配置成从无线通信网络106检索与一个或多个其它电子设备104相关联的身份参数。一个或多个其它电子设备104的身份参数可以对应于互联网协议(IP)地址、介质访问控制(MAC)地址、唯一设备标识符和/或服务集标识符(SSID)。与多个电子设备相关联的身份参数可以与无线通信网络106中的每一个已连接设备的对应唯一设备标识符预映射。无线通信网络106中已连接的多个电子设备可以包括一个或多个其它电子设备104和第一电子设备102。可以从无线通信网络106检索与所显示图像中的所检测的一个或多个视觉线索中的每一个视觉线索相关联的身份参数。映射信息可以预存储在第一电子设备102中或是从无线通信网络106可检索的。在某些场景中，新设备可以被添加(通信地耦合)到无线通信网络106。在这种场景中，也可以检索与这种新设备相关联的身份参数。可以在无线通信网络106中动态更新这种设备的映射信息。因此，预映射设备和向无线通信网络106新添加的设备都可以用于使得能够检索(一个或多个)对应的身份参数。
根据实施例，可以由第一电子设备102至少基于所检索的与一个或多个其它电子设备104相关联的身份参数来识别一个或多个其它电子设备104。第一电子设备可以被配置成基于身份参数建立与无线通信网络106中所识别的一个或多个其它电子设备104的连接。
根据实施例，第一电子设备102可以被配置成识别一个或多个其它电子设备104的设备类型。可以基于所检测的视觉线索和所检索的身份参数识别设备类型。可以基于第一电子设备102相对于一个或多个其它电子设备104的所检测的位置进一步识别或验证设备类型。例如，多个电子设备中的每一个电子设备可以占据家庭空间中的某些已知位置。因此，第一电子设备102的室内定位可以指示该第一电子设备到所检测位置的某些电子设备的接近度。
根据实施例，可以基于第一电子设备102的所检测朝向进一步识别设备类型，该所检测朝向可以指示第一电子设备102的图像采集单元指向一个或多个其它电子设备104的方向。可以进一步基于一个或多个其它电子设备104距第一电子设备102的距离识别设备类型。例如，当一个或多个其它电子设备104占据UI 108上显示的图像的大的面积时，这可以指示一个或多个其它电子设备104被紧密接近第一电子设备102放置。大的面积可以是大于UI 108上预设阈值面积的面积。类似地，当一个或多个其它电子设备104占据UI 108上显示的图像的小的面积时，这可以表示一个或多个其它电子设备104被远离第一电子设备102放置。小的面积可以是小于UI 108上预设阈值面积的面积。
根据实施例，可以为连接到无线通信网络106的多个电子设备来设置设备设置。多个电子设备可以包括一个或多个其它电子设备104。可以基于与将由多个电子设备中的每一个电子设备执行的操作相关联的用户偏好和/或多个电子设备中的每一个电子设备的设备类型来设置设备设置。可以基于相对于多个电子设备先前执行的操作的时间分析来动态更新设备设置。可以通过应用机器学习技术来执行更新。
根据实施例，第一电子设备102可以被配置成基于与所识别的一个或多个其它电子设备104相关联的设备设置，控制来自所识别的一个或多个其它电子设备104的期望电子设备，诸如第二电子设备104a。第一电子设备102可以被配置成从设备设置选择特定设备设置，用于控制第二电子设备104a。可以基于所识别的设备类型、UI 108上显示的图像采集单元的当前FOV和/或可能在UI 108上的当前FOV(或图像)中显示的所识别一个或多个其它电子设备104的当前操作状态来执行所述选择。例如，第四电子设备104c可以处在由第一电子设备102的图像采集单元采集的当前FOV中。图像可以仅包括一个或多个其它电子设备104的第四电子设备104c。可以将第四电子设备104c的设备类型识别为照明设备，并且可以将第三电子设备104b的操作状态确定为处于“关闭”状态。因此，这个示例中的控制可以是改变第三电子设备104b的当前状态，诸如向第三电子设备104b发送控制命令以“开启”第三电子设备104b。类似地，如果设备类型被识别为媒体呈现器(诸如，对于第二电子设备104a)并且确定第二电子设备104a(媒体呈现器)的当前状态处于“开启”状态中，那么可以由第一电子设备102采取对应动作。例如，可以经由UI 108在第一电子设备102上显示与第二电子设备104a兼容的一个或多个内容项和/或第二电子设备104a支持的控制功能。
根据实施例，第一电子设备102可以被配置成经由UI 108在第一电子设备102上产生并显示AR视图。在第一电子设备102上显示的AR视图可以包括一个或多个其它电子设备104的FOV、与在FOV内显示的所识别一个或多个其它电子设备104相关联的一个或多个图形控件和/或与所识别的一个或多个其它电子设备104的所识别的设备类型兼容的一个或多个内容项。可以根据在第一电子设备102的图像采集单元的FOV内显示的所识别一个或多个其它电子设备104的每一个电子设备的设备类型在AR视图上产生图形控件。FOV可以显示于UI 108的特定部分(诸如，UI 108的第一部分)上。FOV可以对应于显示的图像。
根据实施例，可以通过选择UI 108上显示的图形控件来控制一个或多个其它电子设备。根据实施例，第一电子设备102可以被配置成在UI 108的第一部分上显示一个或多个其它电子设备104的图像。根据实施例，可以使用可穿戴设备或智能眼镜执行各种选择操作，诸如选择对象、电子设备或图形控件。在UI 108的第二部分上，第一电子设备102可以被配置成显示多个图标或可选择链接。多个图标或可选择链接可以对应于与设备类型兼容的一个或多个内容项或者对应于由所识别的一个或多个其它电子设备104(诸如，第二电子设备104a)支持的一个或多个控制功能，其中内容项将被发送到该所识别的一个或多个其它电子设备104。第一电子设备102可以被配置成基于将从第一电子设备102发送到所选择的电子设备的内容项从所识别的一个或多个其它电子设备104选择特定电子设备(诸如，第二电子设备104a)。
根据实施例，用户110可以从在第一电子设备102上显示的兼容内容项的列表中选择内容项。用户110可以向AR视图上的FOV中显示的特定电子设备拖动所选择的内容项，以向所识别的一个或多个其它电子设备104之中的特定电子设备发送所选择的内容项。例如，第一电子设备102可以被配置成使用第一电子设备102上所产生的AR视图向所识别的一个或多个其它电子设备104的第三电子设备104b发送与第二电子设备104a兼容的内容项的视频分量以及内容项的音频分量。可以基于用户动作或输入动态进行从单个内容项(诸如电影)分离音频分量和视频分量的这种决定。因此，用户(诸如，用户110)可以决定是否执行分离。在图3B和3C中图示和描述相同媒体项的音频分量和视频分量的分路传输的示例。
图2是图示根据本公开实施例的示例性电子设备的框图。结合来自图1的元件解释图2。参考图2，示出第一电子设备102。第一电子设备102可以包括一个或多个处理器(诸如，处理器202)、存储器204、一个或多个输入/输出(I/O)设备(诸如，I/O设备206)、感测设备208、收发器210和图像采集单元212。I/O设备206可以包括显示器214。参考图2，还示出图1的无线通信网络106。
处理器202可以通信地耦合到存储器204，以及I/O设备206、感测设备208、收发器210和图像采集单元212。收发器210可以被配置成经由无线通信网络106与多个电子设备(诸如所识别的一个或多个其它电子设备104)通信。
处理器202可以包括可以被配置成执行存储在存储器204中的一组指令的合适的逻辑、电路系统、接口和/或代码。可以基于现有技术中公知的数种处理器技术实现处理器202。处理器202的示例可以是基于X86的处理器、基于X86-64的处理器、精简指令集计算(RISC)处理器、专用集成电路(ASIC)处理器、复杂指令集计算(CISC)处理器、中央处理单元(CPU)、显式并行指令计算(EPIC)处理器、超长指令字(VLIW)处理器和/或其它处理器或电路。
存储器204可以包括可以被配置成存储可由处理器202执行的一组指令的合适的逻辑、电路系统和/或接口。存储器204可以被配置成存储数据库，该数据库可以包括与多个电子设备的对应视觉线索相关联的多个电子设备的设备类型。存储器204还可以被配置成存储用于连接到无线通信网络106的多个电子设备的设备设置。可以用与对应视觉线索、兼容内容项的列表、多个电子设备支持的功能和/或设备设置的关联关系存储设备类型。多个电子设备可以包括一个或多个其它电子设备104。存储器204还可以被配置成存储操作系统和关联应用。存储器204的实现方式的示例可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、硬盘驱动器(HDD)、固态驱动器(SSD)、CPU高速缓存和/或安全数字(SD)卡。
I/O设备206可以包括可以被配置成从用户110接收输入并向用户110提供输出的合适的逻辑、电路系统、接口和/或代码。I/O设备206可以包括可以被配置成方便处理器202和用户110之间通信的各种输入设备和输出设备。输入设备的示例可以包括但不限于第一电子设备102上用于激活图像采集单元212的按钮、UI 108上的软件按钮、图像采集单元212、摄录机、触摸屏、麦克风、运动传感器和/或光传感器。输出设备的示例可以包括但不限于显示器214、投影仪屏幕和/或扬声器。
感测设备208可以包括一个或多个传感器，该一个或多个传感器包括检测物理属性或定量属性并提供对应输出作为传感器数据的合适的逻辑、电路系统、接口和/或代码。物理属性或定量属性可以包括但不限于朝向、运动、接触、接近度、地磁场、室内定位和/或环境光照。感测设备208中的一个或多个传感器可以被配置成检测第一电子设备102的朝向和地理位置。感测设备208中的一个或多个传感器还可以被配置用于轻击检测和/或手势检测。感测设备208中的一个或多个传感器还可以被配置成基于由感测设备208检测的输入来辅助控制一个或多个其它电子设备104，诸如第二电子设备104a和第三电子设备104b。一个或多个传感器的示例可以包括但不限于加速度计、全球定位系统(GPS)传感器、室内定位系统、指南针或磁强计、环境光传感器、三录仪(tricorder)、陀螺仪、接近传感器、图像传感器、照度计、触摸传感器和/或红外传感器。
收发器210可以包括可以被配置成经由无线通信网络106(如图1所示)与多个电子设备(诸如，所识别的一个或多个其它电子设备104)通信的合适的逻辑、电路系统、接口和/或代码。收发器210可以实现已知的技术以支持第一电子设备102与无线通信网络106的无线通信。收发器210可以包括但不限于天线、射频(RF)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编码器-解码器(CODEC)芯片组、GSM/GPRS模块和/或本地缓冲器。
收发器210可以经由无线通信与无线通信网络106通信。无线通信可以使用一种或多种通信标准、协议和技术，诸如蓝牙、无线保真(Wi-Fi)(诸如，各种IEEE 802.11标准、IEEE 802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11、IEEE 802.11n)、互联网协议语音(VoIP)、Wi-MAX、用于电子邮件、即时消息收发和/或短消息服务(SMS)的协议、因特网、消息队列遥测传输(MQTT)、可扩展消息和存在协议(XMPP)、数据分布服务(DDS)、高级消息队列协议(AMQP)、约束应用协议(CoAP)和/或蜂窝通信协议。
图像采集单元212可以包括可以被配置成采集一个或多个图像(诸如，包括一个或多个其它电子设备104的图像)的合适的逻辑、电路系统、接口和/或代码。图像采集单元212可以指的是第一电子设备102(例如，智能电话)的内置相机或图像传感器。图像采集单元212可以被配置成在处理器202的控制下在本地缓存和/或存储器204中存储所识别一个或多个其它电子设备104的视觉线索。根据实施例，可以基于图像处理技术从所显示的图像提取并识别视觉线索。
显示器214可以包括可以被配置成呈现第一电子设备102的UI108的合适的逻辑、电路系统、接口和/或代码。可以通过若干已知技术(诸如，基于阴极射线管(CRT)的显示器、液晶显示器(LCD)、基于发光二极管(LED)的显示器、有机LED显示技术、视网膜显示技术和/或类似技术)实现显示器214。根据实施例，显示器214可以能够从用户110接收输入。在这样的场景中，显示器214可以是使得用户110能够提供输入的触摸屏。触摸屏可以对应于电阻式触摸屏、电容式触摸屏或热触摸屏中的至少一种。根据实施例，显示器214可以通过虚拟小键盘、触控笔、基于手势的输入和/或基于触摸的输入来接收输入。在这种情况下，输入设备可以集成在显示器214内。根据实施例，第一电子设备102可以包括与显示器214分开的辅助输入设备，该显示器可以是基于触摸的显示屏。
在操作中，处理器202可以被配置成检测第一电子设备102的图像采集单元212指向的朝向或方向。用户110可以将第一电子设备102的图像采集单元212指向以采集视场(FOV)，该视场可以包括在FOV内的一个或多个其它电子设备104。处理器202可以被配置成控制第一电子设备102上图像的显示。基于第一电子设备102的图像采集单元212的当前FOV，图像可以包括一个或多个其它电子设备104。处理器202可以被配置成识别所显示图像(或FOV)中显示的一个或多个其它电子设备104。当用户110持续保持或指向图像采集单元212以采集FOV达预指定持续时间时，可以发起辨认过程。处理器202可以被配置成至少基于与一个或多个其它电子设备104相关联的身份参数来识别一个或多个其它电子设备104。可以经由收发器210从无线通信网络106检索身份参数。
根据实施例，处理器202可以被配置成基于以下来识别设备类型：图像处理(诸如，视觉线索的检测(如图1中所述))、所检索的身份参数或位置、所检测的朝向，或一个或多个其它电子设备104距第一电子设备102的距离。可以在数据库中预存储用于可以包括一个或多个其它电子设备104的多个电子设备中的每一个电子设备的设备类型。在数据库中，在关联关系中可以将设备类型与对应的一个或多个视觉线索映射。
根据实施例，可以为连接到无线通信网络106的多个电子设备中的每一个电子设备设置一个或多个设备设置。多个电子设备可以包括一个或多个其它电子设备104。可以基于与将由多个电子设备中的每一个电子设备执行的操作相关联的用户偏好和/或基于多个电子设备中的每一个电子设备的设备类型来设置设备设置。一个或多个设备设置的配置可以是一次性活动。
根据实施例，处理器202可以被配置成为多个电子设备中的每一个电子设备动态产生一个或多个设备设置作为推荐设备设置。可以基于与多个电子设备中的每一个电子设备相关联的一个或多个标准产生用于多个电子设备中的每一个电子设备的一个或多个设备设置。一个或多个标准可以包括所识别的设备类型和/或由多个电子设备(诸如，所识别的一个或多个其它电子设备104)中的每一个电子设备支持的控制功能。用户110然后可以选择推荐设备设置中的一个以设置用于特定设备或可以被分类到特定设备类别(诸如，设备类型)下的数个设备。然后可以根据用户110的用户偏好进一步配置或改变(细调)所选择的(一个或多个)设备设置。这可以减少用于设置或配置一个或多个设备设置的时间。
根据实施例，可以基于相对于多个电子设备先前执行的操作的时间分析来动态更新一个或多个设备设置。可以通过应用机器学习技术来执行更新。可以在存储器204中或者在连接到无线通信网络106的另一个网络设备处存储连接到无线通信网络106的多个电子设备的一个或多个设备设置。可以根据第一电子设备102上的当前FOV或所显示的图像的处理，在不同的操作场景下，由处理器202设置和应用多个电子设备的一个或多个设备设置。
根据实施例，处理器202可以被配置成基于与所识别的一个或多个其它电子设备104相关联的设备设置来控制所识别的一个或多个其它电子设备104。例如，可以经由无线通信网络106远程控制所识别的一个或多个其它电子设备104的特定IoT设备，诸如第二电子设备104a。
根据实施例，处理器202可以被配置成从预存储的设备设置中选择特定设备设置以控制第二电子设备104a。可以基于所识别的设备类型、第二电子设备104a的当前操作状态和/或由第二电子设备104a支持的控制功能来执行控制。可以从无线通信网络106或者直接从第二电子设备104a检索由第二电子设备104a支持的控制功能。
在第一示例中，在处理器202可以识别出第二电子设备104a和第三电子设备104b被采集在FOV内并且被显示在显示器214上经由UI 108呈现的图像中的场景中，可以选择并应用设备设置-1。用于这种场景的设备设置-1可以对应于根据设备类型确定兼容内容项或控制菜单(诸如，控制按钮)，并且对应于将所选择的媒体项的第一分量发送到第二电子设备104a以及将相同媒体项的第二分量发送到第三电子设备104b。例如，媒体项可以被分成视频分量和音频分量。视频分量可以被投射在视频呈现器(诸如，第二电子设备104a)上，音频分量可以被投射在音频呈现器(诸如，第三电子设备104b)上。
在第二示例中，在处理器202可以识别出单个设备(诸如，第二电子设备104a)可以被采集在FOV内并且被显示在显示器214上经由UI 108呈现的图像中的场景中，可以选择并应用设备设置-2。用于这种场景的设备设置-2可以对应于根据设备类型确定兼容内容项或控制菜单，并且对应于将具有视频分量和音频分量两者的所选择的内容项发送到第二电子设备104a。基于识别第二电子设备104a的设备类型，处理器202可以检测并检索存储在存储器204中的某些内容项或者来自无线通信网络106的某些内容项，该内容项可以适合于被发送到第二电子设备104a。例如，媒体项可以是具有视频分量和音频分量两者的视频。媒体项可以被投射在可以播放视频分量和音频分量两者的第二电子设备104a(诸如，智能电视)上。
在第三示例中，在处理器202可以辨认仅第三电子设备104b被采集在FOV内并且被显示在显示器214上经由UI 108呈现的图像中的场景中，可以选择并应用设备设置-3。可以设置用于这种场景的设备设置-3以向第三电子设备104b发送媒体项的音频分量。基于识别设备类型，处理器202还可以检测将被发送到第三电子设备104b的内容项适合于播放内容项的音频分量。例如，媒体项可以是具有视频分量和音频分量两者的视频。音频分量可以被投射在可以被检测为与音频分量兼容的第三电子设备104b(诸如，音乐系统或家庭剧院)上。根据实施例，可以在第一电子设备102上显示视频分量。
在第四示例中，在处理器202可以辨认第四电子设备104c被采集在FOV内并且被显示在显示器214上经由UI 108呈现的图像中的场景中，可以选择并应用设备设置-4。处理器202可以识别设备类型是照明设备。设备设置-4可以对应于确定第四电子设备104c的当前操作状态，接着是所检测到的当前操作状态中的改变。处理器202然后可以向第四电子设备104c发送控制信号以“开启”先前可能处于“关闭”操作状态的第四电子设备104c。因此，可以用如上所述的不同条件自动或手动设置和更新设备设置。
要理解的是，以上示例中描述的设备设置和条件是示例性设备设置，并且本公开的范围不限于用于其应用的公开的设备设置或条件。可以根据上述设备类型和其它标准为各种设备设置各种设备设置。其它设备类型可以不限于照明设备、媒体呈现器和/或音频播放器。出于控制的目的，可以设置并利用其它设备类型，诸如加热设备、冷却设备或用户指定的设备类型或设备种类。根据实施例，如图1所述的由第一电子设备102执行的功能或操作可以由处理器202执行。根据图3A、3B、3C、4A、4B、4C和5中的描述可以理解处理器202执行的其它操作。
图3A、3B和3C图示根据本公开实施例的用于实现所公开的用于基于图像处理进行数据通信的系统和方法的第一示例性场景。已经结合来自图1和图2的元件解释图3A到3C。参考图3A，示出了智能电话302、用户界面(UI)304、UI 304上的布局示意图，包括呈现在UI304处的FOV 306、多个图标308a到308h以及第一组控制按钮310。多个图标308a到308h可以对应于与第二电子设备104a和第三电子设备104b兼容的内容项。还示出了第二电子设备104a、第三电子设备104b以及图像采集单元212(图1和图2)。用户110可以与智能电话302相关联。
根据第一示例性场景，智能电话302可以具有类似于第一电子设备102的功能。智能电话302、第二电子设备104a和第三电子设备104b可以对应于连接到无线通信网络106的IoT设备。UI 304可以对应于第一电子设备102的UI 108(图1和图2)。智能电话302可以被配置成存储某些数量的设备设置。用户110可能希望从智能电话302控制IoT设备(诸如，第二电子设备104a或第三电子设备104b)，诸如在期望的IoT设备上播放媒体项。
为了控制IoT设备，可能需要识别FOV 306中显示的设备类型和可以兼容于在所识别设备类型的IoT设备上播放的内容项。一些内容项可能不与第二电子设备104a或第三电子设备104b兼容。例如，具有扩展名.doc的文件可能不与IoT设备(诸如，第二电子设备104a、第三电子设备104b或照明设备(诸如，IoT灯泡))兼容。因此，在智能电话302上经由UI304呈现的多个图标308a到308h可以对应于检索与FOV 306内的所识别的第二电子设备104a或第三电子设备104b兼容的内容项的链接。
在操作中，用户110可以将智能电话302指向连接到无线通信网络106(诸如，无线家庭网络)的一个或多个IoT设备，诸如第二电子设备104a和第三电子设备104b。智能电话302可以被配置成控制智能电话302的显示器上经由UI 304的图像(诸如，FOV 306)的显示。
智能电话302可以基于与第二电子设备104a和第三电子设备104b相关联的身份参数辨认FOV 306中的第二电子设备104a和第三电子设备104b。智能电话302可以将第二电子设备104a识别为电视(TV)，并将所识别第二电子设备104a的设备类型识别为能够播放视频或音频的媒体呈现器。基于辨认，智能电话302可以显示多个图标308a到308h，这些图标可以被投射在(或发送到)所识别的第二电子设备104a(TV)上。
智能电话302可以根据第二电子设备104a和第三电子设备104b的所识别设备类型产生第一组控制按钮310。例如，根据第二电子设备104a和第三电子设备104b的所识别设备类型，第一组控制按钮310(诸如，播放、停止、暂停、回退、快进操作)可以是合适的。用户110可以使用所产生的一组控制按钮310，通过选择多个图标308a到308h来控制与所识别的第二电子设备104a或第三电子设备104b兼容的内容项的播放。
参考图3B，示出了拖动操作312以描绘如图3A中所示的第一示例性场景的操作序列。还示出了FOV 306内的第一部分314、第二部分316和第三部分318。根据实施例，用户110可以选择可以是被示为图标308b的电影“efg.mp4”的内容项。用户110可以向FOV 306中显示的特定电子设备拖动所选择的内容项(诸如，图标308b)，并在特定的电子设备上放下该内容项。这可以使得能够在特定电子设备上播放选定的内容项。
例如，用户110可以选择UI 304上显示的内容项，诸如图标308b。用户110然后可以拖动(被示为拖动操作312)所选择的图标308b并将它放在包括第三电子设备104b(诸如，音乐系统)的FOV 306的第一部分314上，以播放将在第三电子设备104b上播放的所选择的内容项(电影“efg.mp4”)的音频分量。可以不播放视频分量。根据实施例，可以在智能电话302上显示视频分量。此外，如图所示，在某些时间间隔之后，用户110可以拖动选定的图标308b，并进一步将它放在包括第二电子设备104a(诸如TV)的FOV 306的第二部分316上。智能电话302然后还可以发送将在第二电子设备104a(TV)上播放的所选择的内容项(电影“efg.mp4”)的视频分量，同时可以在第三电子设备104b(音乐系统)上播放所选择的内容项(电影“efg.mp4”)的音频分量。
根据实施例，用户110可以选择UI 304上显示的内容项，诸如图标308b。用户110然后可以拖动选定的图标308b并且将它放在包括第二电子设备104a和第三电子设备104b两者的FOV 306的第三部分318上。第三部分318可以是包括第二电子设备104a和第三电子设备104b两者的公共部分或可以是不包括任何所识别设备的FOV的空白部分。在这种情况下，智能电话302可以基于预设的设备设置理解智能电话302将执行的下一个对应动作是什么。因此，智能电话302可以同时发送将在第二电子设备104a(TV)上播放的所选择的内容项(电影“efg.mp4”)的视频分量，以及将在第三电子设备104b(音乐系统)上播放的相同内容项(电影“efg.mp4”)的音频分量。
参考图3C，还示出了UI 304上的AR视图320。根据第一示例性场景，第一电子设备102可以被配置成通过使用智能电话302上产生的AR视图320发送与特定电子设备兼容的内容项。UI 304可以被配置成在AR视图320上显示可视觉感知的图形效果(诸如，箭头、波形、符号、抛物线路径、表情符号)，以指示当前正在从智能电话302向特定电子设备传送的内容项或控制信号。基于AR视图320上可视觉感知的图形效果的流，用户110可以在传送数据的同时监控数据的传送。
如图3B中所述，当智能电话302向第二电子设备104a(TV)发送所选择的内容项(电影“efg.mp4”)的视频分量并向第三电子设备104b(音乐系统)发送相同内容项(电影“efg.mp4”)的音频分量时，可以在智能电话302中的UI 304上呈现AR视图320。在AR视图320中，可以在UI 304上呈现可视觉感知的图形效果322和324，以指示根据被传输内容项的数据类型所选择的内容项的实时传输或者指示当前传输的内容项的各个分量的实时传输。例如，如图所示，第一可视觉感知的图形效果(诸如，胶片带322)可以表示所选择的内容项的兼容视频分量向第二电子设备104a(诸如，TV)的传输。如图所示，第二可视觉感知的图形效果(诸如，音乐声调流324)可以表示所选择的内容项的兼容音频分量向第三电子设备104b(诸如，音乐系统)的传输。具有可视觉感知的图形效果(诸如，胶片带322和音乐声调324)的AR视图320可以在智能电话302与所识别电子设备(诸如，第二电子设备104a和第三电子设备104b)之间执行数据通信时，向用户(诸如，用户110)提供直观体验。
图4A、4B和4C共同图示根据本公开实施例的用于实现所公开的用于基于图像处理进行数据通信的系统和方法的第二示例性场景。已经结合来自图1、2、3A、3B和3C的元件解释了图4A、4B和4C。参考图4A，示出了智能电话302、UI 304、UI 304上布局的示意图，包括第一FOV 402和多个控制按钮404a到404h。还示出了多个IoT灯泡406a到406d。多个控制按钮404a到404h可以是与如图3A到3C中所述的第一组控制按钮310不同的第二组控制按钮。
根据第二示例性场景，多个IoT灯泡406a到406d可以对应于一个或多个其它电子设备104。多个IoT灯泡406a到406d和智能电话302可以连接到无线家庭网络，诸如无线通信网络106。IoT灯泡406a、406c和406d可以处于“开启”操作状态，而IoT灯泡406b可以处于“关闭”操作状态。
在操作中，用户110可以将智能电话302的图像采集单元212指向多个IoT灯泡406a到406d。智能电话302的简单指向可以自动改变IoT灯泡406b的当前操作状态，使得IoT灯泡406b被“开启”，而其它IoT灯泡406a、406c和406d可以继续处于“开启”操作状态。智能电话302可以智能地采取动作，以基于与所识别的多个IoT灯泡406a到406d相关联的所选择的设备设置来选择性地控制来自多个IoT灯泡406a到406d的IoT灯泡406b。
例如，基于对应于第一FOV 402的所显示图像的图像处理，智能电话302可以检测所显示图像中的所检测的多个IoT灯泡406a到406d的一个或多个视觉线索，诸如纹理、形状、尺寸和/或设备标记。然后可以使用所检测的一个或多个视觉线索从无线家庭网络(诸如，无线通信网络106)检索与所检测的多个IoT灯泡406a到406d相关联的身份参数。智能电话302可以基于与多个IoT灯泡406a到406d相关联的所检索的身份参数(诸如，唯一设备标识符)，识别所检测的多个IoT灯泡406a到406d。根据实施例，可以进一步使用智能电话302和IoT设备(诸如，IoT灯泡406a到406d)的位置作为参数中的一个来识别将被控制的(一个或多个)IoT设备。感测设备208(诸如，陀螺仪、GPS、指南针、加速度计、深度传感器等)可以用于识别智能电话302的位置。
智能电话302可以被配置成基于与所识别的多个IoT灯泡406a到406d相关联的设备设置来控制所识别多个IoT灯泡406a到406d中的一个或多个。当多个IoT灯泡406a到406d中的每一个灯泡的设备类型被识别为所显示的图像中的照明设备并且多个IoT灯泡406a到406d中的一个或多个的操作状态被确定为处于“关闭”状态时，这个示例中的控制(基于用于照明设备的设备设置)可以是经由无线家庭网络向IoT灯泡406b发送控制命令，以“开启”IoT灯泡406b。
根据实施例，用户110可以通过使用多个控制按钮404a到404h手动选择并改变所识别的多个IoT灯泡406a到406d的操作状态。根据多个IoT灯泡406a到406d的所识别设备类型和设备能力，可以在UI 304上产生并显示多个控制按钮404a到404h。根据实施例，可以在已经基于预设的设备设置或机器学习执行多个IoT灯泡406a到406d的操作状态的初始自动化和智能改变之后，进行多个控制按钮404a到404h的产生。如图所示，多个控制按钮408a到408h可以对应于控制多个IoT灯泡406a到406d中的每一个灯泡的操作状态的“开启”和“关闭”图形控件。用户110可以从多个控制按钮404a到404h选择控制按钮以选择和改变多个IoT灯泡406a到406d中的每一个灯泡的当前操作状态。
根据实施例，可以由智能电话302通过使用基于相对于多个IoT灯泡406a到406d先前执行的操作(诸如，用户110经由UI 304采取的历史动作)的时间分析的机器学习来重新配置预设的设备设置。例如，基于当天的时间，当时间被检测为白天时IoT灯泡406a的操作状态可以被关闭，或者当时间被检测为夜间时可以开启灯泡。根据实施例，也可以控制多个IoT灯泡406a到406d的亮度。
参考图4B，还示出了呈现于UI 304上的第二FOV 408和滑块控制按钮410。如图所示，用户110可以将智能电话302的图像采集单元212指向IoT灯泡406a，使得当前的FOV(即第二FOV 408)包括单个设备，诸如IoT灯泡406a。在这种情况下，智能电话302的简单指向可以自动改变IoT灯泡406a的操作状态。例如，当在第二FOV 408中识别单个照明设备时，智能电话302可以被配置成如果IoT灯泡406a为“开启”的话，那么就控制所识别的IoT灯泡406a以“关闭”IoT灯泡406a，或者反之亦然。
此外，可以根据第二FOV 408中设备(诸如，IoT灯泡406a)的所识别设备类型和设备能力来呈现滑块控制按钮410。用户110可以经由UI 304提供输入，以将滑块控制按钮410滑动到“关闭”状态。智能电话302然后可以向IoT灯泡406a发送控制命令，以将IoT灯泡406a的当前操作状态改变为“关闭”操作状态。
参考图4C，如经由图像采集单元212的取景器所看到的那样，还图示第三FOV 412、第三组控制按钮414和新IoT设备(诸如，启用IoT的风扇416)。用户110可以将智能电话302的图像采集单元212指向IoT灯泡406c和406d以及启用IoT的风扇416。因此，如所示的，可以在UI 304上显示对应于第三FOV 412的图像。智能电话302可以被配置成根据第三FOV 412中设备的所识别设备类型和设备能力产生第三组控制按钮414。例如，除了为控制所识别IoT灯泡406a和406d而产生的“开启”和“关闭”控制按钮之外，可以在UI 304上产生并呈现新的控制按钮414a和414b(表示为“高”和“低”)，以启用IoT的风扇416的速度调节。从UI304选择控制按钮414a可以实时提高启用IoT的风扇416的速度。类似地，从UI 304选择控制按钮414b可以降低启用IoT的风扇416的速度。因此，智能电话302可以用简化的方式通过仅仅将智能电话302的图像采集单元212指向无线家庭网络中的所识别设备来智能地控制所识别的设备。此外，可以向用户110提供直观体验以经由智能电话302上呈现的UI 304实现通信和控制。
本领域的技术人员应当理解，各种实施例不限于特定类型的电子设备，诸如IoT灯泡406a到406d或启用IoT的风扇416。因此，在不脱离本公开的精神和范围的情况下，可以通过执行关于第二电子设备104a、第三电子设备104b、IoT灯泡406a到406d和/或启用IoT的风扇416描述的类似操作来控制其它合适的电子设备或IoT设备，诸如智能微波或冰箱。因此，智能电话302可以通过简化方式通过仅仅将智能电话302的图像采集单元212指向无线家庭网络中的所识别设备来智能地控制所识别的设备。例如，在控制微波炉的情况下，调节烹调的温度和时间，并且对于冰箱则根据所识别的设备类型，调节冷却或者“开启”或“关闭”。
图5是示出根据本公开实施例的基于图像处理进行数据通信的示例性方法的流程图。参考图5，图示流程图500。结合来自图1、2、3A的元件描述流程图500。方法在步骤502处开始并进行到步骤504。
在步骤504处，可以控制第一电子设备102上图像的显示。图像可以包括一个或多个其它电子设备104。在步骤506处，可以检测与所显示图像中的一个或多个其它电子设备104相关联的一个或多个视觉线索。
在步骤508处，可以从无线通信网络106检索与一个或多个其它电子设备104相关联的身份参数。一个或多个其它电子设备104的身份参数可以对应于IP地址、MAC地址、唯一设备标识符和/或SSID。可以基于预映射的数据执行身份参数的检索，该预映射数据包括与连接到无线通信网络106的多个电子设备相关联的对应的一个或多个视觉线索是关联关系的无线通信网络106中每一个连接设备的唯一设备标识符。多个电子设备可以包括一个或多个其它电子设备104。在步骤510处，可以基于与一个或多个其它电子设备104相关联的所检索身份参数识别一个或多个其它电子设备104。
在步骤512处，可以识别所识别的一个或多个其它电子设备104的设备类型。可以基于以下来识别设备类型：所检测的一个或多个视觉线索、所检索的身份参数、第一电子设备102相对于一个或多个其它电子设备104的位置、第一电子设备102相对于一个或多个其它电子设备104的朝向和/或一个或多个其它电子设备104距显示图像的第一电子设备102的距离。在步骤514处，可以在无线通信网络106中建立与所识别的一个或多个其它电子设备104的连接。
在步骤516处，可以从与连接到无线通信网络106的多个电子设备相关联的预设设备设置选择特定设备设置。可以基于与将为包括一个或多个其它电子设备104的多个电子设备执行的操作相关联的用户偏好和/或多个电子设备中的每一个电子设备的设备类型来预设设备设置。在步骤518处，可以控制所识别一个或多个其它电子设备104的特定电子设备，诸如第二电子设备104a。可以基于与所识别的一个或多个其它电子设备104相关联的设备设置控制第二电子设备104a。对第二电子设备104a或所识别的一个或多个其它电子设备104的控制可以基于一个或多个标准。一个或多个标准可以是所识别的设备类型、当前的操作状态、将被发送的内容项的数据类型、一个或多个兼容内容项和/或由第二电子设备104a或所识别的一个或多个其它电子设备104支持的控制功能。也可以基于类似的标准(诸如，上述一个或多个标准)执行特定设备设置的选择。
在步骤520处，可以在第一电子设备102上产生增强现实(AR)视图(诸如，AR视图320)以使得能够控制所识别的一个或多个其它电子设备104。换言之，AR视图320可以是可以方便用户控制所识别的一个或多个其它电子设备104的直观视图。但是，各种设备之间的实际通信可以发生于后端，并且可以基于用于这种控制的用户动作或输入。根据实施例，AR视图可以包括一个或多个其它电子设备104的视场(FOV)、与所识别的一个或多个其它电子设备104相关联的可以在FOV内显示的一个或多个图形控件和/或与所识别一个或多个其它电子设备104的所识别设备类型兼容的一个或多个内容项。可以根据FOV(当前显示的FOV或图像)内的所识别的一个或多个其它电子设备104的每一个电子设备的所识别设备类型，在AR视图上产生一个或多个图形控件用于控制。控制可以传递到结束步骤522。
根据本公开的实施例，公开了一种用于基于图像处理进行数据通信系统。系统(诸如第一电子设备102(图1))可以包括一个或多个电路(下文称为处理器202(图2))。处理器202可以被配置成控制第一电子设备102上图像的显示。图像可以包括一个或多个其它电子设备104。可以基于与一个或多个其它电子设备104相关联的身份参数识别所显示图像中的一个或多个其它电子设备104。可以基于与所识别的一个或多个其它电子设备104相关联的设备设置控制所识别的一个或多个其它电子设备104中的第二电子设备104a。
本公开的各种实施例可以提供一种非暂态计算机可读介质和/或存储介质和/或非暂态机器可读介质和/或存储介质，其上存储有可由机器和/或计算机执行以执行基于图像处理进行数据通信的机器代码和/或指令集。指令集可以使得机器和/或计算机执行包括控制第一电子设备102上的图像的步骤。图像可以包括通信地耦合到无线通信网络106的一个或多个其它电子设备104。可以基于与一个或多个其它电子设备104相关联的身份参数识别所显示图像中的一个或多个其它电子设备104。可以基于预定义的设备设置控制所识别的一个或多个其它电子设备104的IoT设备，诸如第二电子设备104a。预定义的设备设置可以与一个或多个其它电子设备104相关联。
本公开可以用硬件或硬件和软件的组合实现。可以用集中式方式(在至少一个计算机系统中)或用分布式方式(其中可以跨若干互连的计算机系统分布不同的元件)实现本公开。适于执行本文所述方法的计算机系统或其它装置可以是合适的。硬件和软件的组合可以是具有计算机程序的通用计算机系统，当计算机程序被加载和执行时可以控制计算机系统，使得该计算机系统执行本文所述的方法。可以用包括还执行其它功能的集成电路的部分的硬件实现本公开。
本公开还可以嵌入在计算机程序产品中，该计算机程序产品包括可以实现本文所述方法的所有特征，并当加载在计算机系统中时能够执行这些方法。在本上下文中，计算机程序意味着指令集的以任何语言、代码或符合的任何表达，该指令集旨在使得具有信息处理能力的系统或者直接地执行特定功能，或在以下中的一者或两者之后执行特定功能：a)转换成另一种语言、代码或符号；b)以不同材料形式再现。
尽管已经参考特定实施例描述了本公开，但本领域的技术人员将要理解的是，不脱离本公开的范围的情况下可以做出各种改变并且可以被等价物替代。此外，在不脱离本发明的范围的情况下，还可以进行许多修改以使特定的情况或材料适应于本公开的教导。因此，本公开并非旨在限定于所公开的特定实施例，而是本公开将包括落在所附权利要求书的范围之内的所有实施例。

Claims (20)

1.一种用于数据通信的系统，所述系统包括：
第一电子设备中的一个或多个电路，所述一个或多个电路被配置成：
控制所述第一电子设备上图像的显示，其中所述图像包括通信地耦合到无线通信网络的一个或多个其它电子设备；
检测与所述图像中的所述一个或多个其它电子设备相关联的一个或多个视觉线索；
检索与所述图像中的所述一个或多个其它电子设备相关联的身份参数；
基于与所述一个或多个其它电子设备相关联的身份参数识别显示的所述图像中的所述一个或多个其它电子设备；
基于检测的所述一个或多个视觉线索和所述身份参数中的至少一个来识别所述一个或多个其它电子设备的设备类型；以及
通过基于识别的一个或多个其它电子设备中的第二电子设备的设备类型选择与所述第二电子设备相关联的设备设置来控制所述第二电子设备，其中所述设备设置包括手动选择的设备设置和预设的设备设置。
2.根据权利要求1所述的系统，其中所述第一电子设备对应于具有图像采集单元的物联网(IoT)设备，并且其中所述一个或多个其它电子设备对应于连接到所述无线通信网络的一个或多个其它IoT设备。
3.根据权利要求1所述的系统，其中所述一个或多个视觉线索对应于以下中的一个或多个：设备标记、设备纹理、形状、尺寸、设备配置和/或其它设备标识符。
4.根据权利要求1所述的系统，其中所述一个或多个电路还被配置成基于以下中的一个或多个识别所述一个或多个其它电子设备的设备类型：所述第一电子设备相对于所述一个或多个其它电子设备的位置、所述第一电子设备相对于所述一个或多个其它电子设备的朝向和/或所述一个或多个其它电子设备距显示所述图像的所述第一电子设备的距离。
5.根据权利要求1所述的系统，其中所述一个或多个其它电子设备的所述身份参数对应于以下中的一个或多个：互联网协议(IP)地址、介质访问控制(MAC)地址、唯一设备标识符和/或服务集标识符(SSID)。
6.根据权利要求1所述的系统，其中所述一个或多个电路还被配置成基于所述身份参数建立与所述无线通信网络中的所述识别的一个或多个其它电子设备的连接。
7.根据权利要求1所述的系统，其中所述一个或多个电路还被配置成在所述第一电子设备上产生增强现实(AR)视图，以启用对所述识别的一个或多个其它电子设备的所述控制，其中所述AR视图包括所述一个或多个其它电子设备的视场(FOV)、与在所述FOV内显示的所述识别的一个或多个其它电子设备相关联的一个或多个图形控件和/或与所述识别的一个或多个其它电子设备的设备类型兼容的一个或多个内容项。
8.根据权利要求7所述的系统，其中所述一个或多个电路还被配置成根据所述FOV内的所述识别的一个或多个其它电子设备中的每一个电子设备的设备类型产生所述AR视图上的所述一个或多个图形控件用于所述控制。
9.根据权利要求7所述的系统，其中所述一个或多个电路还被配置成从所述第一电子设备上的所述AR视图中选择内容项，并且向所述AR视图上的特定电子设备拖动选择的内容项，以向所述识别的一个或多个其它电子设备之中的所述特定电子设备发送所述选择的内容项。
10.根据权利要求7所述的系统，其中所述一个或多个电路还被配置成基于经由所述第一电子设备上的产生的AR视图的用户输入，向所述第二电子设备发送媒体项的视频分量并且向所述识别的一个或多个其它电子设备中的第三电子设备发送所述媒体项的音频分量。
11.根据权利要求1所述的系统，其中基于以下中的一个或多个为连接到所述无线通信网络的多个电子设备设置所述设备设置：与将为包括所述一个或多个其它电子设备的所述多个电子设备执行的操作相关联的用户偏好和/或所述多个电子设备中的每一个电子设备的设备类型。
12.根据权利要求11所述的系统，其中通过应用机器学习技术基于相对于所述多个电子设备先前执行的操作的时间分析，动态更新所述设备设置。
13.根据权利要求1所述的系统，其中所述一个或多个电路还被配置成基于以下中的一个或多个从用于所述第二电子设备的所述控制的所述设备设置中选择特定设备设置：设备类型、当前操作状态、将被发送的内容项的数据类型、一个或多个兼容的内容项或由所述第二电子设备支持的控制功能。
14.根据权利要求13所述的系统，其中由所述第一电子设备基于从所述无线通信网络检索的控制信息控制所述识别的一个或多个其它电子设备中的所述第二电子设备。
15.一种用于数据通信的方法，所述方法包括：
由第一电子设备中的一个或多个电路，控制所述第一电子设备上的图像的显示，其中所述图像包括通信地耦合到无线通信网络的一个或多个其它电子设备；
由所述一个或多个电路，检测与所述图像中的所述一个或多个其它电子设备相关联的一个或多个视觉线索；
由所述一个或多个电路，检索与所述图像中的所述一个或多个其它电子设备相关联的身份参数；
由所述一个或多个电路，基于与所述一个或多个其它电子设备相关联的身份参数识别显示的所述图像中的所述一个或多个其它电子设备；
由所述一个或多个电路，基于检测的所述一个或多个视觉线索和所述身份参数中的至少一个来识别所述一个或多个其它电子设备的设备类型；以及
由所述一个或多个电路，通过基于识别的一个或多个其它电子设备中的第二电子设备的设备类型选择与所述第二电子设备相关联的设备设置来控制所述第二电子设备，其中所述设备设置包括手动选择的设备设置和预设的设备设置。
16.根据权利要求15所述的方法，所述方法还包括由所述一个或多个电路基于所述身份参数建立与所述无线通信网络中的所述识别的一个或多个其它电子设备的连接。
17.根据权利要求15所述的方法，所述方法还包括由所述一个或多个电路在所述第一电子设备上产生增强现实(AR)视图，以启用对所述识别的一个或多个其它电子设备的所述控制，其中所述AR视图包括所述一个或多个其它电子设备的视场(FOV)、与在所述FOV内显示的所述识别的一个或多个其它电子设备相关联的一个或多个图形控件和/或与所述识别的一个或多个其它电子设备的设备类型兼容的一个或多个内容项。
18.根据权利要求17所述的方法，所述方法还包括由所述一个或多个电路根据所述FOV内的所述识别的一个或多个其它电子设备中的每一个电子设备的设备类型产生所述AR视图上的所述一个或多个图形控件用于所述控制。
19.根据权利要求17所述的方法，所述方法还包括由所述一个或多个电路从所述第一电子设备上的所述AR视图中选择内容项，并且向所述AR视图上的特定电子设备拖动选择的内容项，以向所述识别的一个或多个其它电子设备中的所述特定电子设备发送所述选择的内容项。
20.根据权利要求15所述的方法，所述方法还包括由所述一个或多个电路基于以下中的一个或多个从用于所述第二电子设备的所述控制的所述设备设置中选择特定设备设置：设备类型、当前操作状态、将被发送的内容项的数据类型、一个或多个兼容的内容项或由所述第二电子设备支持的控制功能。
CN201710682917.8A 2016-08-19 2017-08-11 用于基于图像处理进行数据通信的系统和方法 Active CN107770238B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/241,719 US10110678B2 (en) 2016-08-19 2016-08-19 System and method for data communication based on image processing
US15/241,719 2016-08-19

Publications (2)

Publication Number Publication Date
CN107770238A CN107770238A (zh) 2018-03-06
CN107770238B true CN107770238B (zh) 2021-01-29

Family

ID=61192393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710682917.8A Active CN107770238B (zh) 2016-08-19 2017-08-11 用于基于图像处理进行数据通信的系统和方法

Country Status (3)

Country Link
US (1) US10110678B2 (zh)
KR (1) KR101938082B1 (zh)
CN (1) CN107770238B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861608B2 (en) * 2016-03-16 2020-12-08 Kiomars Anvari Internet of things (IoT) with novel time of day acquisition
US10320583B2 (en) * 2016-10-07 2019-06-11 Verizon Patent And Licensing Inc. System and method for facilitating interoperability across internet of things (IOT) domains
US10778742B2 (en) * 2016-10-10 2020-09-15 Sony Corporation System and method for sharing multimedia content with synched playback controls
US10169884B2 (en) * 2017-01-03 2019-01-01 International Business Machines Corporation Image-based device configuration
WO2018164532A1 (en) * 2017-03-09 2018-09-13 Samsung Electronics Co., Ltd. System and method for enhancing augmented reality (ar) experience on user equipment (ue) based on in-device contents
US9998790B1 (en) * 2017-03-30 2018-06-12 Rovi Guides, Inc. Augmented reality content recommendation
WO2018198318A1 (ja) * 2017-04-28 2018-11-01 株式会社オプティム コンピュータシステム、遠隔操作通知方法及びプログラム
US10791077B2 (en) * 2017-08-08 2020-09-29 Snap Inc. Application-independent messaging system
WO2019067901A2 (en) * 2017-09-29 2019-04-04 Apple Inc. USER INTERACTIONS BASED ON THE LOOK
KR102397886B1 (ko) * 2017-12-06 2022-05-13 삼성전자주식회사 전자 장치, 사용자 단말 장치 및 그 제어 방법
US11131973B2 (en) * 2017-12-06 2021-09-28 Arris Enterprises Llc System and method of IOT device control using augmented reality
US10706628B2 (en) * 2018-02-28 2020-07-07 Lenovo (Singapore) Pte. Ltd. Content transfer
US11146459B2 (en) 2018-04-05 2021-10-12 Starry, Inc. System and method for facilitating installation and configuration of network devices
WO2019217081A1 (en) 2018-05-09 2019-11-14 Apple Inc. Selecting a text input field using eye gaze
JP7204351B2 (ja) * 2018-06-13 2023-01-16 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、及び、プログラム
CN109068161B (zh) * 2018-07-25 2021-04-16 三星电子（中国）研发中心 一种设备连接建立方法和装置
WO2020022780A1 (en) * 2018-07-25 2020-01-30 Samsung Electronics Co., Ltd. Method and apparatus for establishing device connection
KR102620363B1 (ko) 2018-10-12 2024-01-04 삼성전자주식회사 모바일 장치 및 모바일 장치의 제어 방법
EP3892069B1 (en) 2018-12-03 2023-06-07 Signify Holding B.V. Determining a control mechanism based on a surrounding of a remote controllable device
WO2020242047A1 (en) * 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
US11134036B2 (en) 2019-07-05 2021-09-28 Snap Inc. Event planning in a content sharing platform
US11329891B2 (en) * 2019-08-08 2022-05-10 Vonage Business Inc. Methods and apparatus for managing telecommunication system devices
WO2021162446A1 (en) 2020-02-14 2021-08-19 Samsung Electronics Co., Ltd. Method and apparatus for streaming vr image
CN113262478B (zh) * 2020-02-17 2023-08-25 Oppo广东移动通信有限公司 增强现实处理方法及装置、存储介质和电子设备
US11411900B2 (en) 2020-03-30 2022-08-09 Snap Inc. Off-platform messaging system
US20210358294A1 (en) * 2020-05-15 2021-11-18 Microsoft Technology Licensing, Llc Holographic device control
CN113970888A (zh) * 2020-07-07 2022-01-25 华为技术有限公司 家居设备控制方法、终端设备及计算机可读存储介质
US11561758B2 (en) * 2020-08-11 2023-01-24 Virtual Sound Engineer, Llc Virtual sound engineer system and method
US11815687B2 (en) * 2022-03-02 2023-11-14 Google Llc Controlling head-mounted device with gestures into wearable device
US11973730B2 (en) 2022-06-02 2024-04-30 Snap Inc. External messaging function for an interaction system
US12073011B2 (en) 2022-09-01 2024-08-27 Snap Inc. Virtual interfaces for controlling IoT devices
US12045383B2 (en) 2022-09-01 2024-07-23 Snap Inc. Virtual AR interfaces for controlling IoT devices using mobile device orientation sensors
KR102495670B1 (ko) 2022-11-10 2023-02-06 이현창 패류 자동 탈거장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201101738A (en) * 2009-06-22 2011-01-01 Wistron Corp Network control device with pictures and related method
CN103814397A (zh) * 2010-06-17 2014-05-21 高通股份有限公司 用于增强实境环境的基于移动设备的内容映射

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003102077A (ja) 2001-09-25 2003-04-04 Matsushita Electric Ind Co Ltd 家電機器制御装置、家電機器、及び家電ネットワークシステム
US9014685B2 (en) * 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
US8799496B2 (en) 2009-07-21 2014-08-05 Eloy Technology, Llc System and method for video display transfer between video playback devices
KR101657565B1 (ko) 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
US8751942B2 (en) 2011-09-27 2014-06-10 Flickintel, Llc Method, system and processor-readable media for bidirectional communications and data sharing between wireless hand held devices and multimedia display systems
KR20130048533A (ko) 2011-11-02 2013-05-10 엘지전자 주식회사 원격제어장치의 동작 방법
KR102201906B1 (ko) * 2014-04-29 2021-01-12 삼성전자주식회사 전자 장치에서 다른 전자 장치를 제어하기 위한 장치 및 방법
US9728009B2 (en) * 2014-04-29 2017-08-08 Alcatel Lucent Augmented reality based management of a representation of a smart environment
KR20140088052A (ko) 2014-05-16 2014-07-09 연세대학교 산학협력단 복합 컨텐츠 제공 서버
US9886162B2 (en) * 2014-06-02 2018-02-06 Qualcomm Incorporated Device-provided tracking data for augmented reality
KR102367551B1 (ko) * 2014-06-10 2022-02-25 삼성전자 주식회사 전자 장치의 정보 처리 방법 및 장치
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
KR102218901B1 (ko) * 2014-10-15 2021-02-23 삼성전자 주식회사 색 보정 방법 및 장치
KR20170015622A (ko) * 2015-07-29 2017-02-09 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
KR20170035678A (ko) * 2015-09-23 2017-03-31 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US11361148B2 (en) * 2015-10-16 2022-06-14 Samsung Electronics Co., Ltd. Electronic device sharing content with an external device and method for sharing content thereof
KR20170055295A (ko) * 2015-11-11 2017-05-19 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
KR20170071347A (ko) * 2015-12-15 2017-06-23 엘지전자 주식회사 이동단말기 및 그 제어방법
EP3345379B1 (en) * 2015-12-23 2022-01-26 Samsung Electronics Co., Ltd. Method for electronic device to control object and electronic device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201101738A (en) * 2009-06-22 2011-01-01 Wistron Corp Network control device with pictures and related method
CN103814397A (zh) * 2010-06-17 2014-05-21 高通股份有限公司 用于增强实境环境的基于移动设备的内容映射

Also Published As

Publication number Publication date
KR20180020887A (ko) 2018-02-28
US10110678B2 (en) 2018-10-23
CN107770238A (zh) 2018-03-06
US20180054487A1 (en) 2018-02-22
KR101938082B1 (ko) 2019-01-11

Similar Documents

Publication Publication Date Title
CN107770238B (zh) 用于基于图像处理进行数据通信的系统和方法
US11921988B2 (en) Identifying and controlling smart devices
KR101276846B1 (ko) 미디어 데이터의 스트리밍 제어방법 및 제어장치
US10708534B2 (en) Terminal executing mirror application of a peripheral device
US10163335B2 (en) Display apparatus, system, and method for controlling an external device
KR102247817B1 (ko) 락스크린 제공 방법 및 장치
CN104866262B (zh) 可穿戴设备
US10275056B2 (en) Method and apparatus for processing input using display
US9836266B2 (en) Display apparatus and method of controlling display apparatus
EP3687157A1 (en) Method for capturing images and electronic device
US10182094B2 (en) Method and apparatus for transmitting and receiving data
WO2023083089A1 (zh) 拍摄控件显示方法, 装置, 电子设备及介质
CN110601933A (zh) 物联网设备的控制方法、装置、设备及存储介质
EP3892069B1 (en) Determining a control mechanism based on a surrounding of a remote controllable device
US9558711B2 (en) Display apparatus, mobile apparatus, system and setting controlling method for connection thereof
KR102535086B1 (ko) 전자 장치 및 그의 동작 방법
US9685074B2 (en) Method and system for remote interaction with electronic device
US20240275911A1 (en) Minimizing visual disruptions when transitioning from presenting a freeze frame video to presenting a live video during a video communication session
US20240275910A1 (en) Managing visual changes in captured participant's video while transitioning from presenting a freeze frame video during a video call
US20240251130A1 (en) Video notification system
WO2020034910A1 (zh) 应用标识的显示方法、装置、多屏终端及存储介质
US20150241957A1 (en) Control apparatus, information processing apparatus, control method, information processing method, information processing system and wearable device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant