CN105786169B - 多个电子设备进行协同动作的方法、电子设备 - Google Patents

多个电子设备进行协同动作的方法、电子设备 Download PDF

Info

Publication number
CN105786169B
CN105786169B CN201510920571.1A CN201510920571A CN105786169B CN 105786169 B CN105786169 B CN 105786169B CN 201510920571 A CN201510920571 A CN 201510920571A CN 105786169 B CN105786169 B CN 105786169B
Authority
CN
China
Prior art keywords
electronic device
action
information
cooperative
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510920571.1A
Other languages
English (en)
Other versions
CN105786169A (zh
Inventor
伊藤浩
如泽俊明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo PC International Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN105786169A publication Critical patent/CN105786169A/zh
Application granted granted Critical
Publication of CN105786169B publication Critical patent/CN105786169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明的课题在于提供一种多个电子设备进行协同动作的方法、电子设备，是通过对照相机进行单动作的联接操作使其进行协同动作的方法。并列配置的笔记本PC(100a、100b)的照相模块(101a、101b)拍摄左右摆动的左手。笔记本PC(100a)取得图像(102a)，笔记本PC(100b)取得图像(102b)。笔记本PC(100a)从左手的形状或摆动的周期识别出协同动作是数据传输，从拇指(11)识别出是发送设备。笔记本PC(100b)从左手的形状或摆动的周期识别出协同动作是数据传输，从小指识别出是接收设备。仅通过拍摄摆动的左手，2个笔记本PC进行不同的单个动作，从而完成协同动作。

Description

多个电子设备进行协同动作的方法、电子设备
技术领域
本发明涉及一种使多个电子设备的各照相机拍摄简单的操作而使之进行协同动作的技术。
背景技术
存在在智能手机、平板终端、笔记本型个人计算机(笔记本PC)、或台式个人计算机之类的电子设备的相互之间容易交换数据的技术。例如，根据AirDrop这一技术，能够利用WiFi(注册商标)或Bluetooth(注册商标)从发送终端向接收终端发送数据。另外，根据Bump这一技术，能够通过使终端彼此触碰而经由WiFi(注册商标)或Bluetooth(注册商标)相互交换事先选择的照片、视频。
专利文献1公开了用手势(Gesture)从事先配对的发送侧设备向接收侧设备传输文件的发明。在该文献中记载了：在发送侧设备采取抓取手势而确定发送文件之后，通过将手移到照相机的可视角之外，向接收侧设备发送转送请求信号，在接收转送请求信号的接收侧设备采取接收文件的松开手势，由此传输文件。专利文献2公开了关于Bump的发明。专利文献3公开了在检测到照相机前挥动手腕的手势时，将显示在发送侧的信息终端的Web的网站URL发送至接收侧的信息终端的发明。
现有技术文献
专利文献1：日本特开2014－179099号公报
专利文献2：美国专利申请公开第2011/0191823号公报
专利文献3：日本特开2014－16850号公报
在现有的方法中，在开始通信之前确定发送侧的电子设备和接收侧的电子设备，或在开始通信之后彼此成为发送侧和接收侧而交换数据，或者根据检测到对于一个电子设备的姿势而向另一个电子设备发送信号，并对已接收到信号的另一个电子设备采取手势，由此进行数据传输。然而，若使用照相机所拍摄的图像，与传输开始的时机同时确定发送的电子设备和接收的电子设备向任意方向均能传输数据，则较优选。或者，若使用照相机所拍摄的图像，使电子设备识别初级设备或次级设备的任一个，从而能够进行各种协同动作，则更优选。
发明内容
因此，本发明的目的在于，提供根据照相机所拍摄的联接操作的图像，使多个电子设备执行协同动作的方法。此外，本发明的目的还在于，使多个电子设备执行构成协同动作的多个不同的单个动作的任一个的方法。此外，本发明的目的还在于，提供实现这种方法的电子设备及计算机程序。
本发明提供分别搭载照相机的第一电子设备和第二电子设备进行协同动作的方法。第一电子设备所搭载的第一照相机和第二电子设备所搭载的第二照相机拍摄规定的被摄物。接下来，从所拍摄的被摄物的特征信息识别各电子设备构成协同动作的不同的单个动作。接下来，各电子设备分别执行识别的不同的单个动作。
根据上述结构，通过第一照相机和第二照相机拍摄被摄物，第一电子设备和第二电子设备能够进行构成协同动作的彼此不同的单个动作。能够使被摄物为人体部位，以该人体部位进行单动作操作，使各电子设备识别构成协同动作的单个动作。被摄物能够提供用于识别规定的协同动作的通用信息和用于识别构成规定的协同动作的单个动作的异种信息。
通用信息及异种信息能够从被摄物的静态外形特征或动态外形特征提取。静态外形特征能够从物理上一体的被摄物的非对称部位提取。动态外形特征能够从摆动周期或旋转速度之类的被摄物的运动信息或静止后的被摄物的形状、图案或色彩的变化提取。
能够从所拍摄的被摄物识别协同动作，从而使第一电子设备和第二电子设备建立点对点的无线通信。此时，通过无线通信，第一电子设备和第二电子设备相互交换所提取的异种信息，能够在判断为是相反信息时，分别执行单个动作。或者，通过无线通信，第一电子设备和第二电子设备交换通用信息，在判断为一致时，能够分别执行单个动作。
可以设协同动作为数据的传输动作，设第一电子设备的单个动作为数据的发送动作，并设第二电子设备的单个动作为数据的接收动作。此外，可以设协同动作为输入设备的切换操作，设第一电子设备的单个动作为使第一电子设备的输入设备停止的动作，设第二电子设备的单个动作为将对于第二电子设备的输入设备的输入信息发送至第一电子设备的动作。
另外，可以将协同动作设为使应用程序的执行环境中断和开始的操作，将第一电子设备的单个动作设为将第一电子设备所执行的应用程序的编辑中的数据发送至第二电子设备的动作，将第二电子设备的单个动作设为将编辑中的数据从第一电子设备接收并应用于与第一电子设备的应用程序对应的应用程序的动作。
另外，可以将协同动作设为切换从服务器下载的数据流文件的传输目的地的动作，将第一电子设备的单个动作设为将当前下载的数据流文件的传输目的地变更为第二电子设备的动作，将第二电子设备的单个动作设为下载数据流文件的动作。此外，还可以将协同动作设为切换输出设备的发送源的动作，将第一电子设备的单个动作设为停止对输出设备发送第一电子设备所保存的数据的动作，将第二电子设备的单个动作设为将第二电子设备所保存的数据发送至输出设备的动作。
根据本发明，能够提供根据照相机所拍摄的联接操作的图像，使多个电子设备进行协同动作的方法。此外，根据本发明，还能够提供使多个电子设备执行构成协同动作的多个不同的单个动作的任一个的方法。此外，根据本发明，还能够提供实现这种方法的电子设备及计算机程序。
附图说明
图1是用于说明进行单动作的联接操作的情形的图。
图2是示出构成笔记本PC100a、100b的结构的功能框图。
图3是示出协同系统200a、200b结构的功能框图。
图4是用于说明从笔记本PC100a向笔记本PC100b进行数据传输时的情形的图。
图5是用于说明从笔记本PC100a向笔记本PC100b进行数据传输时的协同系统200的动作的流程图。
图6是用于说明将智能手机150的输入设备变更为笔记本PC100a时的情形的图。
图7是用于说明将对于外部显示器160的输出数据的发送源从笔记本PC100a变更为笔记本PC100b时的情形的图。
图8是用于说明将服务器252所提供的下载文件的下载目的地从笔记本PC100a变更为智能电视170时的情形的图。
具体实施方式
联接操作、协同动作、通用信息及异种信息
首先，对本发明所涉及的协同动作的概要进行说明。图1是用于说明协同动作的一例的图。图1所示的、作为电子设备的一例的笔记本PC100a和笔记本PC100b在位于各自的显示器103a、103b的上部的边框安装有照相模块101a、101b。笔记本PC100a、100b以照相模块101a、101b朝向相同方向的方式相互并列配置。
在笔记本PC100a、100b前，操作者使将手背朝向照相模块101a、101b的左手10，以笔记本PC100a、100b的中间位置为中心，左右摆动。拍摄手的行为是将在下文中详细说明的联接操作的一例。照相模块101a、101b以动态图像模式工作，以规定的帧频生成图像数据。
由操作者来看，配置在左侧的照相模块101a拍摄在画面的右侧到达右界限的拇指11进行向左方向折回的移动的往复运动的动态图像的帧102a，照相机101b拍摄在画面的左侧到达左界限的小指13进行向右方向折回的移动的往复运动的动态图像的帧102b。笔记本PC100a、100b能够从拍摄摆动的左手10的动态图像，取得能够与一般的被摄物的动态图像区分的几个特征信息。
首先，笔记本PC100a、100b都能够从摆动的左手10取得左手10的外形特征信息。另外，笔记本PC100a、100b都能够取得几乎相同的左手10的摆动周期。像这样，笔记本PC100a、100b都从摆动的左手10的动态图像取得的同样信息或能够识别为同样的信息是将在下文中详细说明的通用信息的一例。
接下来，笔记本PC100a能够从摆动的左手10取得在帧102a的右侧摆动的拇指11停止的特征信息，笔记本PC100b能够取得在帧102b的左侧摆动的小指13停止的特征信息。或者，笔记本PC100a能够取得小指13向帧102a的左方向移动的特征信息，笔记本PC100b能够取得拇指11向帧102b的右方向移动的特征信息。
此外，笔记本PC100a能够取得从操作者来看，相比自身摆动的中心存在于左侧的位置信息，笔记本PC100b能够取得从操作者来看，相比自身摆动的中心存在于右侧的位置信息。像这样，笔记本PC100a、100b分别从拍摄摆动的左手10的动态图像取得的相互不同的信息是将在下文中详细说明的异种信息的一例。
笔记本PC100a、100b分别在拍摄摆动的左手10时，取得通用信息和异种信息而进行协同动作。作为协同动作，将由发送动作和接收动作构成的数据的传输动作例示而进行说明。笔记本PC100a、100b分别取得通用信息而开始用于数据传输的动作，并取得异种信息，一个作为发送设备工作，另一个作为接收设备工作。通过进行使用右手或者将左手10的手心朝向照相模块101a、101b的联接操作，能够调换发送设备和接收设备。
接下来，对协同动作进行详细说明。作为前提，多个电子设备分别搭载照相模块。将为了协同动作而使各电子设备拍摄的被摄物称为操作被摄物。图1的左手10是操作被摄物的一例。并且，将为了使各电子设备进行协同动作而拍摄操作被摄物的行为称为联接操作。协同动作相当于多个电子设备以整体实现的连贯的动作或实现通用目的的动作。
协同动作体验各电子设备所进行的相互不同的多个单个动作构成。一例中的协同动作是在从各电子设备用照相模块拍摄的图像识别联接操作并开始协同动作之后，在边用无线或有线相互交换信息边进行合作而进行的。在协同动作的其他例中，各电子设备若识别联接操作，则不进行之后的信息交换，进行预先定义的规定的单个动作。
操作被摄物和联接操作对各电子设备提供通用信息和异种信息。操作被摄物以能够作为被摄物施展的形状、色彩或图案等外形特征提供通用信息及异种信息或其中一个。外形特征可以是不随时间发生变化的静态外形特征，也可以是随时间发生变化的动态外形特征。作为动态外形特征的一例，可以举出操作被摄物的往复运动的周期或旋转运动的旋转速度等运动信息。作为动态外形特征的其他例，可以举出光的闪烁、发光色的变化、或突然用手按压眼睛这种被摄物的变化。
操作被摄物通过具备与通常拍摄的被摄物不同的外形特征，能够提供通用信息。作为通用信息的一例，可以举出以规定的大小拍摄的摆动的左手10。操作被摄物通过具备能够从各电子设备所拍摄的图像中识别为相互不同的外形特征，从而提供异种信息。作为异种信息的一例，可以举出构成作为操作被摄物的左手10的拇指11和小指13的外形特征。操作被摄物可以是在物理上一体的物体，若为能够进行联接操作的物体，也可以是在物理上分离的物体的组合。在物理上一体的物体的构成静态外形特征的非对称部位或动态外形特征能够提供异种信息。作为一例，手、手腕这种人体部位具备非对称性。
联接操作相当于不等来自进行协同动作的电子设备的响应，就使各电子设备拍摄操作被摄物的单方面的行为。因此，等到一个电子设备拍摄被摄物而开始的动作的结果后，使另一个电子设备拍摄被摄物而工作这种方式不包含在本实施方式的联接操作的范围内。联接操作能够使各电子设备拍摄操作被摄物而赋予开始进行协同动作的时机。
使各电子设备同时拍摄在物理上一体的操作被摄物的联接操作能够赋予开始进行协同动作的时机。将使各电子设备同时拍摄在物理上一体的操作被摄物的联接操作称为单动作操作。图1的左手10的摆动相当于单动作操作。联接操作与拍摄挥动手腕的手势的各电子设备识别出相同事件而工作时的这种不使各电子设备识别异种信息的单纯的手势不同。
通用信息包括使各电子设备识别特定的协同动作的识别性和赋予使协同动作开始进行的时机的同时性。识别性能够由操作被摄物的外形特征赋予，同时性能够由联接操作赋予。一例中，同时性可以在由操作被摄物对各电子设备提供识别性的时机来显示。异种信息使各电子设备识别构成规定的协同动作的相互不同的单个动作。异种信息也可以包括通用信息。若举出一例，则左手10的拇指11能够提供称为数据传输的通用信息和称为传输源的异种信息，左手10的小指13能够提供称为数据传输的通用信息和称为传输目的地的异种信息。
[笔记本PC的硬件]
图2是用于说明构成协同系统200(图3)的笔记本PC100a、100b的硬件的结构的概略的功能框图。在实现本实施方式的基础上，由于笔记本PC100a、100b的硬件的结构是通用的即可，所以对部件的附图标记标注a、b而区分两者。在与本发明相关的部分中，由于笔记本PC100a、100b的硬件的结构是周知的，故简化对其的说明。
CPU105a、105b内置有图形内核，并连接有显示器103a、103b和系统存储器107a、107b。芯片组109a、109b内置有各种接口的控制器。在芯片组109a、109b连接有HDD111a、111b、Bluttooth(注册商标)模块(BLTH模块)113a、113b、键盘115a、115b、照相模块101a、101b、WiFi模块117a、117b及DVI端口119a、119b等。
[协同系统]
图3是用于说明笔记本PC100a、100b所安装的协同系统200a、200b的结构的功能框图。协同系统200a、200b可以通过除照相模块101a、101b、WiFi模块117a、117b及BLTH模块113a、113b之外，还以CPU105a、105b、系统存储器107a、107b及芯片组109a、109b等硬件和HDD111a、111b所储存的设备驱动器、操作系统及应用程序等软件的合作来实现。
图像识别部201a、201b由从照相模块101a、101b以规定帧频接收的图像数据取得特征信息。图像识别部201a、201b参照模板202a、202b而提取与特征信息一致的操作被摄物的通用信息及异种信息。模板202a、202b由与操作被摄物的外形特征及联接操作所提供的通用信息及异种信息对应的特征信息构成。异种信息也可以包括通用信息。
对于通用信息，可以按照协同动作的数量准备多个。操作被摄物是人体部位时，可以将左右的手背、左右的手心、或左右的手腕的外形特征作为通用信息。并且，通用信息可以设为左右摆动的手或上下摆动的手腕的摆动周期。对于各通用信息，可以按照进行协同动作的设备的数量使其与多个异种信息相关联。对于异种信息，可以在操作被摄物是手的情况下设为各手指，在操作被摄物是手腕的情况下设为左右的手腕。图像识别部201a、201b将表示从模板202a、202b提取的通用信息及异种信息的识别数据输出至协同信息提取部203a、203b。
协同信息提取部203a、203b参照参照表204a、204b生成与接收的识别数据对应的协同动作的控制数据。参照表204a、204b登记有由与对应于通用信息的识别数据相关联的协同动作的控制数据、及与对应于异种信息的识别数据相关联的单个动作的控制数据构成的联接数据。例如，使对应于左手10的手背的识别数据与对应于数据的传输动作这一协同动作的控制数据相关联。并且，可以使对应于拇指11的识别数据与发送动作这一控制数据相关联，使对应于小指13的识别数据与接收动作这一控制数据相关联。
协同动作控制部205a、205b根据从协同信息提取部203a、b接收的控制数据或从成为协同动作的对方的笔记本PC接收的控制数据，控制数据发送接收部209a、209b及应用执行部207a、207b的动作。应用执行部207a、207b包括显示器103a、103b及键盘115a、115b，执行与协同动作相关的应用程序。数据发送接收部209a、209b控制通过WiFi模块117a、117b及BLTH模块113a、113b的无线通信。
[协同动作]
图4是用于说明用联接操作从笔记本PC100a向100b进行作为协同动作的数据传输时的情形的图。图5是用于说明此时的协同系统200a、200b的动作的流程图。在图5中，块301～321与笔记本PC100a的动作对应，块351～371与笔记本PC100b的动作对应。数据传输的协同动作由笔记本PC100a所执行的发送动作和笔记本PC100b所执行的接收动作构成。在块301、351中，笔记本PC100a、100b分别通过接入点(AP)253与主干的网络251连接。
笔记本PC100a、100b可以属于同一个用户，也可以分别属于不同的用户。笔记本PC100a、100b在连接于网络251时，被赋予公网IP地址或私有IP地址(以下是IP地址)。由于这些IP地址在每次与网络251连接时，由DHCP服务器、路由器等赋予不同值，笔记本PC100a、100b在与网络251连接的瞬间，彼此不识别对方的IP地址。
取得对方的IP地址前的笔记本PC100a、100b能够使用邮箱地址进行通信，但直至从邮箱服务器取出数据为止会花费时间。笔记本PC100a、100b通过相互取得对方的IP地址，能够以不介由邮箱服务器的点对点(P2P)这一通信方式进行无缝通信。在用于数据传输的协同动作中，在一例中利用P2P通信。
若应用执行部207a已选择发送的文件，并从协同动作控制部205a取得作为发送目的地的笔记本PC100b的IP地址，则发送设备所涉及的笔记本PC100a处于能够从WiFi模块117a发送该文件的状态。对接收设备所涉及的笔记本PC100b来说，可以由应用执行部207b执行用于接收文件的应用程序，也可以将在下文中说明的联接操作中启动该应用程序。
在此，如图1所示，将操作被摄物设为左手10，作为联接操作例示摆动左手10的情况而进行说明。照相模块101a、101b以视频模式或静止画模式工作而以规定的帧频向图像识别部201a、201b输出图像数据。图像识别部201a、201b将从拍摄的图像提取的特征信息和模板202a、202b作比较。
图像识别部201a、201b在提取与同分别登记于模板202a、202b的任意一个的联接操作对应的特征信息一致的通用信息时，向协同信息提取部203a、203b输出表示该通用信息及与该通用信息相关联的异种信息的识别数据。左手10所提供的通用信息可以设为摆动的左手10的静态外形特征及动态外形特征或任一个。左手10所提供的异种信息可以设为向左右方向摆动的拇指11和小指13所提供的静态外形特征及动态外形特征或任一个。
在块303、353中，若协同信息提取部203a、203b分别输出识别数据，则进到块305、355。在块305、355中，协同信息提取部203a、203b若参照参照表204a、204b，从与通用信息对应的识别数据识别出协同动作是数据的传输动作，则向协同动作控制部205a、205b输出表示协同动作的控制数据。
在块307中，协同信息提取部203a若参照参照表204a从与异种信息对应的识别数据识别出单个动作是数据的发送动作，则输出控制数据。在块357中，协同信息提取部203b若参照参照表204b从与异种信息对应的识别数据识别出单个动作是数据的接收动作，则输出控制数据。接收到表示协同动作的控制数据的协同动作控制部205a、205b为了相互验证协同动作的适合性，在块309、359中，通过数据发送接收部209a、209b及WiFi模块117a、117b发送广播帧。
广播帧作为用户数据包括通用信息的控制数据、异种信息的控制数据、认证信息、传输所涉及的数据的文件形式及处理数据传输的应用程序的标识符等的协同动作和数据传输所需的各种信息。此外，协同动作控制部205a、205b也可以代替广播帧发送多播帧。在块311、361中，协同动作控制部205a、205b例如以PKI方式进行相互认证。
在块313、363中，协同动作控制部205a、205b由从对方接收到的通用信息的控制数据和从自身的协同信息提取部203a、203b接收到的通用信息的控制数据来判断是否具备相互进行相同协同动作的适合性。在通用信息一致的情况下，判断具有适合性，并进到块315、365。
在块315中，协同动作控制部205a由从笔记本PC100b接收到的异种信息的控制数据和从协同信息提取部203a接收到的异种信息的控制数据来判断是否具备构成在块313确认的联接操作的发送动作的适合性。协同动作控制部205a在确认了从笔记本PC100b接收到的异种信息的控制数据和从协同信息提取部203a接收到的异种信息的控制数据构成特定的协同动作并且是相反的异种信息时，判断为具有发送动作的适合性。以相同方式，在块365中，协同动作控制部205b判断为具有接收动作的适合性。
在异种信息不一致的情况下及判断为异种信息表示拇指11和小指13这一左手10的相反部位时或者任一种时，进到块317、367。协同动作控制部205a、205b在块311～315、361～365成功地进行相互认证，并且判断为具有协同动作的适合性时，在块317、367中，向广播帧的发送者发送自身的IP地址，并根据需要发送端口编号而建立P2P通信。
在块319中，协同动作控制部205a开始进行发送动作，在块369中，协同动作控制部205b开始进行接收动作。在块321中，协同动作控制部205a对应用执行部207a指示传输所选择的文件。应用执行部207a从WiFi模块117a发送文件。在块371中，协同动作控制部205b对应用执行部207b指示：接收文件并将该文件储存于规定的目录。此时，协同动作控制部205b启动用于根据需要接收数据传输所涉及的文件的应用程序。
由于笔记本PC100a和100b已建立P2P通信，所以能够在短时间内完成从联接操作到数据传输的开始。协同动作控制部205a、205b对WiFi模块117a、117b构筑点对点(Ad-Hoc)模式的网络或WiFi直连的网络，可以不经由AP253，直接进行数据传输。根据上述步骤，若操作者进行单动作操作，则笔记本PC100a、100b进行规定的单个动作，从而能够完成协同动作。另外，通过进行以拍摄左手10的手心的方式摆动的联接操作、使用右手的联接操作，能够简单地调换发送设备和接收设备。
上述步骤是说明本实施方式所涉及的一例的步骤，不是所有的要素都是本发明所必要的要素，并且顺序也不是限定本发明。本发明的必要要素正如权利要求书所述。例如，块313、315和块363、365的顺序可以分别调换，或者也可以仅是任一个。在块317、367中对通过联接操作取得相互的IP地址的例子进行了说明，但也可以在联接操作之前取得对方的IP地址，建立P2P通信。
对于文件的传输利用WiFi模块117a、117b的例子进行了说明，但也可以使用BLTH模块113a、113b。在该情况下，不需要发送广播帧，可以在块309、359中一个笔记本PC提出配对请求后相互交换PIN码而进行配对，由此构筑通信路径。
而且，可以代替WiFi模块117a、117b，使用红外线通信等近场通信(NFC：NearField Communication)规格的设备。另外，在本发明中，对于协同动作不仅能够利用无线通信，还能够利用有线通信。虽示出了在2台设备之间进行协同动作的例子，但本发明能够也适用于排列成通过联接操作能够提取操作被摄物的通用信息和异种信息的3台以上的设备。
[基于联接操作的执行环境的移植]
图5的步骤还能够在用联接操作移植应用程序的执行环境的时候利用。例如，假定笔记本PC100a是仅在自己位置使用的大型笔记本PC，笔记本PC100b是在会议室、移动环境中使用的小型的笔记本PC。假定用户使用笔记本PC100a打开浏览器，用多个选项卡访问Web网站。
此时，通过进行图1所示的联接操作，能够切断到此笔记本PC100a所使用的Web浏览器，将访问的Web网站的信息移植到笔记本PC100b。并且，能够以相同方式将笔记本PC100b的执行环境移植到笔记本PC100a。执行环境的移植不仅能够适用于Web浏览器，还能够适用于文件准备程序、邮件程序等。
[基于联接操作的输入设备的切换]
图6是用于说明用联接操作将智能手机150的触摸屏切换成笔记本PC100a的键盘115a的输入设备的切换方法的图。智能手机150搭载有协同系统200b。作为一例，将切换所涉及的输入设备设为触摸屏和键盘，但无需限定于此，例如也可以是小型的触摸屏和大型的触摸屏。智能手机150和笔记本PC100a处于能够经由AP253用WiFi模块117a、117b相互通信的状态。
在智能手机150中，存在用户对于应用执行部207b所显示的画面，从触摸屏输入数据时，想输入大量数据的情况，或者想消除软件键盘而一边看画面的整体一边输入的情况。用户将智能手机150与笔记本PC100a并列配置，在照相模块前进行例如使用左手10的联接操作。与联接操作对应的协同动作由停止来自触摸屏的输入并将从笔记本PC100a接收到的数据作为输入数据来处理，并且能够根据需要消除软件键盘的显示的智能手机150的单个动作、和将来自键盘115a的输入从WiFi模块117a发送至智能手机150的笔记本PC100a的单个动作构成。
在智能手机150中，协同动作控制部205b由经由图像识别部201b及协同信息提取部203b接收到的控制数据识别协同动作和自身的单个动作，对应用执行部207b指示若在触摸屏上显示有软件键盘，则消除软件键盘。协同动作控制部205b使经由WiFi模块117b从笔记本PC100a接收的键控代码模拟为来自触摸屏的键控代码而发送至应用执行部207b。
在笔记本PC100a中，协同动作控制部205a识别协同动作和自身的单个动作，并且根据需要对应用执行部207a指示显示器103a显示表示从键盘115a向智能手机150输入的图像。协同动作控制部205a将键盘115a的键控代码经由WiFi模块117a发送至智能手机150。笔记本PC100a也可以使键控代码模拟为智能手机150的软件键盘的键控代码而发送。
[基于联接操作的输出设备的发送源的切换]
图7是用于说明用联接操作将针对作为输出设备的外部显示器160发送源从笔记本PC100a切换成笔记本PC100b的方法的图。对切换所涉及的输出设备来说，作为一例采用了外部显示器160，但不限于此，也可以是打印机、投影仪、或扬声器等。在笔记本PC100a中，应用执行部207a通过BLTH模块113a将显示器103a所显示的图像数据输出至外部显示器160而显示。在笔记本PC100b中，应用执行部207b将图像数据显示在显示器103b。
此处，用户会考虑想将笔记本PC100b的显示器103b所显示的图像数据显示在外部显示器160。用户如图1所示那样，并列笔记本PC100a、100b后进行联接操作。在笔记本PC100a、100b的位置相互分离的情况下，也可以展开双手而上下挥动，使得左手由笔记本PC100a识别，右手由笔记本PC100b识别而提供通用信息和异种信息。
与联接操作对应的协同动作可以由停止对外部显示器160输出图像数据的笔记本PC100a的单个动作和开始对外部显示器160输出图像数据的笔记本PC100b的单个动作构成。在笔记本PC100a中，协同动作控制部205a从经由图像识别部201a及协同信息提取部203a接收的控制数据识别协同动作和自身的单个动作，对应用执行部207a指示停止图像数据的输出。
在笔记本PC100b中，协同动作控制部205b从经由图像识别部201b及协同信息提取部203b接收的控制数据识别协同动作和自身的单个动作，并对应用执行部207a指示输出至显示器103b的数据通过BLTH模块113b还输出至外部显示器160。笔记本PC100a、100b也可以分别在拍摄联接操作之后，不交换任何信息，而切换输出设备。
然而，根据块3161～365的步骤，也可以存在仅笔记本PC100a进行单个动作，笔记本PC100b不进行单个动作的情况。在该情况下，外部显示器160的显示会消失掉。为了防止这种情况，优选协同动作控制部205a在确认协同动作控制部205b做好图像数据的发送准备之后，停止图像数据的输出。在该情况下，笔记本PC100a、100b能够通过WiFi模块117a、117b或BLTH模块113a、113b相互确认单个动作的时机。
[基于联接操作的数据流文件的传输目的地的切换]
图8是用于说明用联接操作将数据流·数据的传输目的地从笔记本PC100a切换成智能电视170的方法的图。智能电视170搭载有协同系统200b。在笔记本PC100a中，应用执行部207a通过WiFi模块117a从网络的服务器252下载数据流文件并进行再现。另外，智能电视170与服务器252连接但不下载数据流文件，或者下载与笔记本PC100a所下载的数据流文件不同的数据流文件。
在此，用户会考虑想将笔记本PC100a下载至中途的数据流文件用智能电视170继续下载并进行显示。用户将笔记本PC100a与智能电视170并列而进行联接操作。与联接操作对应的协同动作可以由将下载的停止和再现开始位置通知给服务器252的笔记本PC100a的单个动作和从服务器252开始下载的智能电视170的单个动作构成。
在笔记本PC100a中，协同动作控制部205a从经由图像识别部201a及协同信息提取部203a接收到的控制数据来识别协同动作和自身的单个动作，向服务器252发送数据流文件的传输目的地的IP地址及再现时间，并请求智能电视170从再现时间继续的位置发送数据流文件。在智能电视170中，协同动作控制部205b从经由图像识别部201b及协同信息提取部203b接收的控制数据识别协同动作和自身的单个动作，并对应用执行部207b指示接收数据流文件。
在上文中，对于本发明参照附图所示的特定实施方式进行了说明，本发明不限于附图所示的实施方式，只要起到本发明的效果，则能够采用目前被人们所知的任何结构，这是毫无疑问的。
附图标记说明
10：左手(操作被摄物)；11：拇指；13：小指；100a、100b：笔记本PC；101a、101b：照相模块；102a、102b：动态图像的帧；150：智能手机；160：外部显示器；170：智能电视；200a、200b：协同系统；251：网络；253：接入点。

Claims (19)

1.一种方法，其为分别搭载照相机的第一电子设备和第二电子设备进行协同动作的方法，其特征在于，具有：
所述第一电子设备所搭载的第一照相机和所述第二电子设备所搭载的第二照相机拍摄规定的被摄物的动态图像步骤，其中第一照相机和第二照相机所拍摄的被摄物的动态图像相同；
从所述拍摄的被摄物的动态图像的特征信息，各电子设备识别构成所述协同动作的不同的单个动作的步骤；以及
各电子设备分别执行所述识别出的不同的单个动作的步骤。
2.根据权利要求1所述的方法，其特征在于，
所述被摄物是人体的部位，所述拍摄的步骤包括拍摄被单动作操作的所述人体的部位的步骤。
3.根据权利要求1或权利要求2所述的方法，其特征在于，
在所述识别的步骤中，从所述被摄物提取用于识别规定的协同动作的通用信息和用于识别构成所述规定的协同动作的单个动作的异种信息。
4.根据权利要求3所述的方法，其特征在于，
在所述识别的步骤中，从所述被摄物的静态外形特征提取所述通用信息或所述异种信息。
5.根据权利要求4所述的方法，其特征在于，
具有将所述静态外形特征从物理上是一体的所述被摄物的非对称的部位提取的步骤。
6.根据权利要求3所述的方法，其特征在于，
在所述识别的步骤中，从所述被摄物的动态外形特征提取所述通用信息或所述异种信息。
7.根据权利要求6所述的方法，其特征在于，
具有从所述被摄物的运动信息或所述被摄物的形状、图案或色彩的变化提取所述动态外形特征的步骤。
8.根据权利要求3所述的方法，其特征在于，具有：
根据拍摄的所述被摄物，各电子设备识别所述协同动作的步骤；和
响应所述识别协同动作的步骤，所述第一电子设备和所述第二电子设备建立点对点的无线通信的步骤。
9.根据权利要求8所述的方法，其特征在于，
具有如下步骤：通过所述无线通信，所述第一电子设备和所述第二电子设备相互交换所述提取的所述异种信息，在判断所述异种信息是相反的信息时，分别执行所述单个动作。
10.根据权利要求8所述的方法，其特征在于，
通过所述无线通信，所述第一电子设备和所述第二电子设备交换所述通用信息，在判断所述通用信息一致时，分别执行所述单个动作。
11.根据权利要求1或权利要求2所述的方法，其特征在于，
所述协同动作是数据的传输动作，所述第一电子设备的单个动作是所述数据的发送动作，所述第二电子设备的单个动作是所述数据的接收动作。
12.根据权利要求1或权利要求2所述的方法，其特征在于，
所述协同动作是输入设备的切换动作，所述第一电子设备的单个动作是使所述第一电子设备的输入设备停止的动作，所述第二电子设备的单个动作是将对于所述第二电子设备的输入设备的输入信息发送至所述第一电子设备的动作。
13.根据权利要求1或权利要求2所述的方法，其特征在于，
所述协同动作是移植应用程序的执行环境的动作，所述第一电子设备的单个动作是发送所述第一电子设备所执行的应用程序的编辑中数据的动作，所述第二电子设备的单个动作是将所述编辑中数据接收并应用于与所述应用程序对应的应用程序的动作。
14.根据权利要求1或权利要求2所述的方法，其特征在于，
所述协同动作是切换从服务器下载的数据流文件的传输目的地的动作，所述第一电子设备的单个动作是将当前下载的所述数据流文件的传输目的地变更为所述第二电子设备的动作，所述第二电子设备的单个动作是下载所述数据流文件的动作。
15.根据权利要求1或权利要求2所述的方法，其特征在于，
所述协同动作是切换输出设备的发送源的动作，所述第一电子设备的单个动作是停止对所述输出设备发送所述第一电子设备所保存的数据的动作，所述第二电子设备的单个动作是将所述第二电子设备所保存的数据发送至所述输出设备的动作。
16.一种电子设备，其是在与可进行由第一单个动作和第二单个动作构成的协同动作的其他电子设备之间，可进行相反的所述第一单个动作或所述第二单个动作的电子设备，其特征在于，
具有：图像识别部，其从用照相机拍摄被摄物的图像提取第一特征或第二特征，其中所述电子设备和所述其他电子设备拍摄被拍摄物的图像相同；
参照表，其使所述第一特征和所述第一单个动作相关联，并使所述第二特征和所述第二单个动作相关联；
协同信息提取部，其参照所述参照表提取所述第一单个动作或所述第二单个动作；以及
协同动作控制部，其将所述电子设备控制成进行所述第一单个动作或所述第二单个动作。
17.根据权利要求16所述的电子设备，其特征在于，
具有与所述其他电子设备可通信的无线模块，
所述协同动作控制部在提取所述第一特征或所述第二特征时，建立与所述其他电子设备的通信，并与所述其他电子设备交换所述第一特征或所述第二特征。
18.根据权利要求16或17所述的电子设备，其特征在于，
所述被摄物是手，所述第一特征和所述第二特征是手指的外形特征。
19.根据权利要求16或17所述的电子设备，其特征在于，
所述被摄物是手腕，所述第一特征和所述第二特征是左右的手腕的外形特征。
CN201510920571.1A 2015-01-14 2015-12-11 多个电子设备进行协同动作的方法、电子设备 Active CN105786169B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015004613A JP2016130925A (ja) 2015-01-14 2015-01-14 複数の電子機器が連携動作をする方法、電子機器およびコンピュータ・プログラム
JP2015-004613 2015-01-14

Publications (2)

Publication Number Publication Date
CN105786169A CN105786169A (zh) 2016-07-20
CN105786169B true CN105786169B (zh) 2020-01-31

Family

ID=56367785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510920571.1A Active CN105786169B (zh) 2015-01-14 2015-12-11 多个电子设备进行协同动作的方法、电子设备

Country Status (3)

Country Link
US (1) US10929703B2 (zh)
JP (1) JP2016130925A (zh)
CN (1) CN105786169B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11234280B2 (en) * 2017-11-29 2022-01-25 Samsung Electronics Co., Ltd. Method for RF communication connection using electronic device and user touch input
JP2021043629A (ja) * 2019-09-10 2021-03-18 株式会社ロゼッタ 端末制御プログラム、端末装置、端末制御方法および情報通信方法
CN114697527B (zh) * 2020-12-29 2023-04-18 华为技术有限公司 一种拍摄方法、系统及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102203722A (zh) * 2008-09-03 2011-09-28 智能技术无限责任公司 在多监视器计算机系统中显示应用的方法以及采用该方法的多监视器计算机系统
TW201239743A (en) * 2011-03-29 2012-10-01 Intel Corp Continued virtual links between gestures and user interface elements
CN102866777A (zh) * 2012-09-12 2013-01-09 中兴通讯股份有限公司 一种数字媒体内容播放转移的方法及播放设备及系统
CN104011631A (zh) * 2011-12-26 2014-08-27 Lg电子株式会社 电子设备以及控制该电子设备的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7962616B2 (en) * 2005-08-11 2011-06-14 Micro Focus (Us), Inc. Real-time activity monitoring and reporting
US8577292B2 (en) 2010-02-03 2013-11-05 Google Inc. Bump validation
US9110509B2 (en) * 2010-07-28 2015-08-18 VIZIO Inc. System, method and apparatus for controlling presentation of content
US8843649B2 (en) * 2011-06-07 2014-09-23 Microsoft Corporation Establishment of a pairing relationship between two or more communication devices
US9162144B2 (en) * 2011-12-05 2015-10-20 Microsoft Technology Licensing, Llc Portable device pairing with a tracking system
US9131333B2 (en) * 2011-12-30 2015-09-08 Linkedin Corporation Systems and methods for mobile device pairing
JP5920829B2 (ja) 2012-07-10 2016-05-18 レノボ・シンガポール・プライベート・リミテッド アプリケーション・ウィンドウの表示を共有する方法、情報端末装置およびコンピュータ・プログラム
US9529439B2 (en) * 2012-11-27 2016-12-27 Qualcomm Incorporated Multi device pairing and sharing via gestures
KR102057531B1 (ko) * 2013-02-20 2020-01-23 삼성전자주식회사 제스처를 이용하여 데이터를 송수신하는 모바일 기기들
KR102091028B1 (ko) 2013-03-14 2020-04-14 삼성전자 주식회사 사용자 기기의 오브젝트 운용 방법 및 장치
CN103440095A (zh) * 2013-06-17 2013-12-11 华为技术有限公司 文件发送方法及终端
CN104426986B (zh) * 2013-09-06 2018-10-19 华为技术有限公司 多设备协作系统、第一设备、第二设备及其协作方法
RU2013146467A (ru) * 2013-10-17 2015-04-27 ЭлЭсАй Корпорейшн Способ и устройство распознавания жестов с использованием асинхронной многопоточной обработки
RU2014108870A (ru) * 2014-03-06 2015-09-20 ЭлЭсАй Корпорейшн Процессор изображений, содержащий систему распознавания жестов с распознаванием неподвижной позы кисти на основе первого и второго наборов признаков

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102203722A (zh) * 2008-09-03 2011-09-28 智能技术无限责任公司 在多监视器计算机系统中显示应用的方法以及采用该方法的多监视器计算机系统
TW201239743A (en) * 2011-03-29 2012-10-01 Intel Corp Continued virtual links between gestures and user interface elements
CN104011631A (zh) * 2011-12-26 2014-08-27 Lg电子株式会社 电子设备以及控制该电子设备的方法
CN102866777A (zh) * 2012-09-12 2013-01-09 中兴通讯股份有限公司 一种数字媒体内容播放转移的方法及播放设备及系统

Also Published As

Publication number Publication date
CN105786169A (zh) 2016-07-20
JP2016130925A (ja) 2016-07-21
US20160203383A1 (en) 2016-07-14
US10929703B2 (en) 2021-02-23

Similar Documents

Publication Publication Date Title
JP4552075B2 (ja) 画像共有システム
KR101842559B1 (ko) 단말기, 서버, 및 단말기 제어 방법
WO2016000309A1 (zh) 基于穿戴设备的增强现实方法及系统
JP6182911B2 (ja) 伝送端末、伝送システム、プログラム
CN106713418B (zh) 重置结果确认方法、装置、服务器和移动终端
CN105491293B (zh) 拍摄控制方法、装置和移动终端、自拍杆及拍摄控制系统
CN105786169B (zh) 多个电子设备进行协同动作的方法、电子设备
CN103945001A (zh) 一种图片分享方法及装置
US20150249696A1 (en) Transmission terminal, transmission system, transmission method, and recording medium storing transmission control program
WO2017222258A1 (ko) 3d 깊이 카메라를 이용한 다자간 영상 대화 시스템 및 방법
TWI489419B (zh) 影像對位顯示方法、裝置以及電腦程式產品
JP2021164065A5 (ja) プログラム、制御方法、および情報処理装置
WO2017020671A1 (zh) 视频交互方法、装置及视频源设备
CN109803110A (zh) 一种图像处理方法、终端设备及服务器
US20150249695A1 (en) Transmission terminal, transmission system, transmission method, and recording medium storing transmission control program
CN105162526B (zh) 在移动终端中发送照片的方法和设备
CN116056076B (zh) 通信系统、方法及电子设备
CN104702845A (zh) 一种终端间互动拍摄的方法、装置及相关设备
CN206364929U (zh) 影像服务系统
JP2012032961A (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
JP6391219B2 (ja) システム
CN113505005A (zh) 数据处理的方法、机器人、服务器、设备及存储介质
CN111966216A (zh) 空间位置的同步方法、装置、系统、电子装置和存储介质
KR102221626B1 (ko) 통신기능을 구비한 모바일 디바이스용 원격제어 지원 장치
JP5340458B1 (ja) プログラムおよびサーバ装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210611

Address after: 23 / F, Lincoln building, 979 King's road, Quarry Bay, Hong Kong, China

Patentee after: Lenovo PC International Limited

Address before: Singapore City

Patentee before: Lenovo (Singapore) Pte. Ltd.

TR01 Transfer of patent right