CN107645490B - 通信装置、控制方法及计算机可读存储介质 - Google Patents

通信装置、控制方法及计算机可读存储介质 Download PDF

Info

Publication number
CN107645490B
CN107645490B CN201710575552.9A CN201710575552A CN107645490B CN 107645490 B CN107645490 B CN 107645490B CN 201710575552 A CN201710575552 A CN 201710575552A CN 107645490 B CN107645490 B CN 107645490B
Authority
CN
China
Prior art keywords
communication
image data
communication apparatus
unit
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710575552.9A
Other languages
English (en)
Other versions
CN107645490A (zh
Inventor
中川利之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN107645490A publication Critical patent/CN107645490A/zh
Application granted granted Critical
Publication of CN107645490B publication Critical patent/CN107645490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/24—Negotiation of communication capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/30—Connection release
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及通信装置、控制方法及计算机可读存储介质。该通信装置通过第一通信模式和第二通信模式中的一者发送图像数据，在所述第一通信模式中，将在通信装置的显示单元中显示的图像数据发送给其他通信装置，在所述第二通信模式中，将在通信装置的存储单元中存储的图像数据发送给其他通信装置，且不在显示单元中显示；以及通信装置确定是否继续图像数据发送。在根据所述第二通信模式发送图像数据且终止所述第二通信模式之后，在确定继续图像数据发送的情况下，通信装置根据所述第一通信模式继续发送图像数据；以及在确定不继续图像数据发送的情况下，终止图像数据发送。

Description

通信装置、控制方法及计算机可读存储介质
技术领域
本发明涉及一种通信装置、控制方法及计算机可读存储介质。
背景技术
最近，对监视器画面进行无线地镜像(mirroring)的技术被标准化为Wi-FiDisplay(Wi-Fi显示)(Wi-Fi
Figure GDA0002606995500000011
)。镜像是将发送装置的监视器画面经由网络发送给接收装置并共享监视器画面的技术。在Wi-Fi显示中定义了诸如具有发送监视器画面的功能的源设备(source device)和具有接收监视器画面的功能的沉设备(sink device)的角色。
例如，存在两种方法作为根据Wi-Fi显示标准的画面共享的方法。第一种方法是对源设备的显示器画面上再现的视频(显示器画面上显示的图像)进行拍摄、编码然后发送的方法(在下文中被称为镜像模式)。第二种方法是在不对源设备的存储设备中存储的并且未在显示器画面上再现的视频(未在显示器画面上显示的图像)进行拍摄和编码而以预定方法对其进行多路复用和发送的方法(在下文中被称为直接模式)。
另一方面，提出了如下的方法，该方法根据要被执行的应用来确定是否启用/禁用数据发送，并且如果确定在通过利用无线LAN使源设备中再现的数据向外部输出时禁用数据发送，则发送预先存储的各种数据(见日本特开2014-2581号公报)。
作为在以Wi-Fi显示的直接模式的画面共享结束时的操作，考虑了以镜像模式的继续画面共享的操作和终止画面共享的操作中的一者。注意，能够通过用户操作或者当自再现存储的视频起经过了预定时间时终止画面共享。在画面共享结束时的前者操作的情况下，可能在沉设备的画面上无意地显示源设备的高度机密画面。在后者操作的情况下，在直接模式结束之后，在确认对沉设备的画面的操作的同时无法进行源设备的画面操作(例如，从图像列表选择特定图像等)。
此外，在日本特开2014-2581号公报中，根据要执行的应用来确定是否启用/禁用数据发送，使得在执行特定应用的同时无法在数据发送的禁用/启用状态之间切换。
发明内容
本发明提供了解决上述问题的技术。
根据本发明的一方面，提供一种通信装置，所述通信装置包括：通信单元，其被构造为与其他通信装置进行通信，以及以第一通信模式和第二通信模式中的一者发送图像数据，在所述第一通信模式中，将在通信装置的显示单元中显示的图像数据发送给其他通信装置，使得在其他通信装置中显示发送的图像数据，在所述第二通信模式中，将在通信装置的存储单元中存储的图像数据发送给其他通信装置，且不在通信装置的显示单元中显示，使得在其他通信装置中显示发送的图像数据；以及确定单元，其被构造为确定是否继续图像数据发送，其中，在根据所述第一通信模式发送图像数据期间开始的根据所述第二通信模式发送图像数据被终止的情况下，所述通信单元被构造为：在所述确定单元确定继续图像数据发送的情况下，根据所述第一通信模式进行图像数据的发送；以及在所述确定单元确定不继续图像数据发送的情况下，终止图像数据发送。
根据本发明的另一方面，提供一种通信装置的控制方法，所述控制方法包括：通过以第一通信模式和第二通信模式中的一者发送图像数据，在所述第一通信模式中，将在通信装置的显示单元中显示的图像数据发送给其他通信装置，使得在其他通信装置中显示发送的图像数据，在所述第二通信模式中，将在通信装置的存储单元中存储的图像数据发送给其他通信装置，且不在通信装置的显示单元中显示，使得在其他通信装置中显示发送的图像数据；确定是否继续图像数据发送；以及在根据所述第一通信模式发送图像数据期间开始的根据第二通信模式发送图像数据被终止的情况下，在确定步骤中确定决定继续图像数据发送的情况下，根据所述第一通信模式来控制通信装置发送图像数据，并且在确定步骤中确定不继续图像数据发送的情况下，控制通信装置终止图像数据发送。
通过下面(参照附图)对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是示出根据第一实施例的通信系统的网络构造的图；
图2A和图2B是各自示出通信装置101的布置的框图；
图3是示出通信装置101与其他通信装置对监视器画面进行镜像的过程的示例的流程图；
图4是示出通信装置101开始画面共享的画面的示例的图；
图5是示出通信装置101的操作设置画面的示例的图；
图6是用于说明在直接模式结束之后当通信装置101以镜像模式继续画面共享时与其他通信装置102的连接序列的序列表；
图7是用于说明在直接模式结束之后当通信装置101不继续画面共享时与其他通信装置102的连接序列的序列表；
图8是用于说明在直接模式结束时在通信装置101没有继续画面共享而是稍后恢复画面共享的情况下，与其他通信装置102的连接序列的序列表；
图9是示出根据第二实施例的通信装置与其他通信装置对监视器画面进行镜像的过程的示例的流程图；以及
图10是示出根据第三实施例的通信装置与其他通信装置对监视器画面进行镜像的过程的示例的流程图。
具体实施方式
下面将参照附图基于本发明的实施例详细描述本发明。注意，以下实施例中示出的布置仅仅是示例，并且本发明不限于所例示的布置。
<第一实施例>
图1示出根据本实施例的通信系统的网络构造。通信装置101能够与其他通信装置102进行无线通信。注意，通信装置101充当对在显示单元205中显示的监视器画面进行发送的源设备(图2A)。也就是说，通信装置101能够以镜像模式和直接模式发送图像数据。镜像模式是通信装置101发送在显示单元205中再现的视频(在显示单元205中显示的图像数据)的操作模式。直接模式是通信装置101发送在存储单元201(图2A)中存储并且在显示单元205中未显示的视频(未在显示单元205中显示的图像数据)的操作模式。以镜像模式和直接模式发送的图像数据是运动图像或静止图像，并且不仅包括诸如照片或视频等的图像还包括诸如文档或图形等的数据。其他通信装置102充当对从源设备发送的视频进行接收和再现的沉设备。给出了诸如平板电脑、智能手机、PC、蜂窝电话、照相机和视频照相机等的图像输入装置作为源设备的实例。然而，本发明不限于这些实例，只要他们满足稍后要描述的硬件布置(图2A)和功能布置(图2B)即可。可以给出诸如平板电脑、智能手机、PC、蜂窝电话、电视机、机顶盒、头戴式显示器、投影仪、显示器和汽车导航装置等的图像输出装置作为沉设备的实例。然而，本发明不限于这些实例。
注意，在本实施例中，将假设通信装置101通过符合IEEE802.11系列的无线LAN进行通信而给出描述。然而，本实施例的布置也适用于诸如
Figure GDA0002606995500000041
UWB、ZigBee和MBOA等的其他无线通信系统。此外，本实施例的布置也适用于诸如有线LAN等的有线通信系统。通信装置101和其他通信装置102除了彼此直接通信以外，还可以经由中继装置(未示出)(例如接入点)彼此通信。注意，MBOA代表多频带OFDM联盟。UWB包括无线USB、无线1394、WINET等。
图2A和图2B分别示出通信装置101的硬件布置和功能布置。首先将描述图2A中的硬件布置。存储单元201由诸如ROM或RAM等的存储器构成并且存储各种类型的信息，例如用于进行稍后描述的各种操作的程序和用于无线通信的通信参数等。注意，除了诸如ROM或RAM等的存储器以外，例如软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡或DVD等的存储介质也可以用作存储单元201。存储单元201可以包括例如多个存储器。
控制单元202由诸如CPU或MPU等的处理器构成并通过执行在存储单元201中存储的程序和至少实现图2B所示的功能布置来控制整个通信装置101。注意，控制单元202可以通过OS(操作系统)与在存储单元201中存储的程序之间的协作来控制整个通信装置101。作为选择，控制单元202可以包括诸如多核处理器等的多个处理器并通过多个处理器控制整个通信装置101。
控制单元202控制功能单元203以进行诸如摄像和投影等的预定处理。功能单元203是用于通信装置101进行预定处理的硬件。例如，如果通信装置101是照相机，则功能单元203是摄像单元并进行摄像处理。由功能单元203处理的数据可以是在存储单元201中存储的数据或经由稍后描述的通信单元206与其他通信装置通信的数据。
输入单元204从用户接受各种操作。显示单元205进行各种显示操作。注意，显示单元205可以进行例如振动输出或通过扬声器的声音输出。注意，输入单元204和显示单元205二者可以通过如触摸面板的一个模块来实现。
通信单元206控制IP通信或符合IEEE802.11系列的无线通信。通信单元206还控制天线207发送和接受用于无线通信的无线信号。通信装置101经由通信单元206与其他通信装置102通信图像数据。在本实施例中，将给出如下描述，假设Wi-Fi显示被用作用于通过无线LAN对监视器画面进行镜像的通信系统。然而，本发明不限于Wi-Fi显示，而是可以使用诸如WiDi等的其他类似通信系统。在Wi-Fi显示标准中，通常将Wi-Fi Direct用于无线连接。然而，本发明不限于此，而是也可以使用通过基础架构模式的无线LAN连接、通过特设模式(ad hoc mode)的无线LAN连接或者ASP(应用服务平台)。
现在将描述图2B中的功能布置。显示控制单元211控制显示单元205的画面显示。通信控制单元212进行关于经由通信单元206的画面共享的通信控制。模式决定单元213决定当开始画面共享时通信装置101以镜像模式和直接模式中的哪种模式进行操作。模块管理单元214管理画面共享处理开始之后的操作模式。
图3是示出在通信装置101与其他通信装置102发送和接受监视器画面时，通过使控制单元202读出在存储单元201中存储的程序并执行该程序而实现的处理的序列的流程图。
注意，图3所示的流程图中的至少一部分可以通过硬件实现。当通过硬件实现流程图时，例如能够通过使用预定的编译程序根据用于实现各个步骤的程序在FPGA上自动生成专用电路。FPGA代表现场可编程门阵列(Field Programmable Gate Array)。作为选择，类似于FPGA，可以通过形成门阵列电路而将流程图实现为硬件。作为选择，可以通过ASIC(专用集成电路)来实现流程图。
首先，当用户经由输入单元204进行画面共享开始操作时，通信控制单元212开始画面共享(步骤S301)。现在将参照图4描述在步骤S301时的画面的示例。
图4示出当通信装置101开始画面共享时显示单元205中的画面的示例。如图4所示，显示控制单元211在通信装置101的显示单元205中显示图像401并且在图像401的下部显示画面共享开始按钮402。图像401例如是通过显示控制单元211从存储单元201加载的所存储的运动图像。
当用户按下(作为选择，包括例如滑动等的选择操作)画面共享开始按钮402时，通信控制单元212开始画面共享。在本实施例中，模式决定单元213根据画面共享开始操作前的数据显示状态来决定在画面共享开始时的模式(即，直接模式或镜像模式)。当在由用户选择的状态下或者在如图4中的、在显示单元205中显示有存储单元201中存储的图像的状态下进行画面共享开始操作时，模式决定单元213决定以直接模式开始图像共享处理。另一方面，当在用户未选择的状态下或者例如通信装置101的待机画面或主画面的、在显示单元205中未显示存储单元201中存储的图像的状态下，模式决定单元213决定以镜像模式开始图像共享处理。
注意，在其他通信装置102能够解码由Wi-Fi显示标准(Wi-Fi Display Standard)定义的格式的图像数据时，能够通过直接模式进行画面共享。当其他通信装置102不能够解码图像数据或者当在显示单元205中显示例如文本数据、呈现数据、图形数据、文档和Web页面等的数据或用于查看这些数据的应用画面时，模式决定单元213决定以镜像模式开始图像共享处理。注意，即使初始模式是镜像模式，模式决定单元213也能够在当用户选择存储的图像的定时将其切换为直接模式。然而，这不是本发明的主要主题，因此将省略其描述。
在步骤S301中开始画面共享之后，通信控制单元212发现并选择充当对方装置(partner apparatus)的其他通信装置102(步骤S302)。可以通过通信装置101或对方装置发现并选择对方装置。然而在本实施例中通信装置101发现并选择对方装置。基于Wi-Fi显示标准，通信控制单元212通过发送并接收诸如信标、探测请求和探测响应等的无线框架来发现对方装置。注意，通信控制单元212也能够通过近场通信(Near Field Communication)(在下文中被称为NFC)中的触摸操作来利用例如蓝牙低能耗(BLE)、QR
Figure GDA0002606995500000071
或者移交(handover)。例如，如果通信单元206具有NFC通信功能，则通过NFC触摸操作来进行通信装置101和其他通信装置102之间的配对，并且随后的通信继承到Wi-Fi显示标准。
通信控制单元212还与在步骤S302中选择的对方装置进行连接设立。基于Wi-Fi显示标准，通信控制单元212能够利用例如信标、探测请求/响应、关联请求/响应、重新关联请求/响应、GO协商请求/响应/确认、P2P邀请请求/响应以及提供发现(provisiondiscovery)请求/响应等用于连接设立。注意，GO代表在Wi-Fi显示标准中定义的组拥有者(Group Owner)。
随后，通信控制单元212与其他通信装置102进行能力交换和协商(步骤S304)。在Wi-Fi显示标准中定义利用RTSP(Real Time Streaming Protocol，实时流协议)来进行能力交换和协商，并且通信控制单元212与其他通信装置102通过RTSP M1至RTSP M4交换预定消息。RTSP是用于控制流的协议，并且在较低的层中通常使用TCP作为传输协议。
随后，通信控制单元212建立对话并开始图像发送处理(步骤S305)。在Wi-Fi显示标准中，为了开始对话的建立和再现，通信控制单元212与其他通信装置102通过RTSP M5至RTSP M7交换预定消息。
在完成直到步骤S305的RTSP消息交换时，通信控制单元212进行到其他通信装置102的视频流(图像数据发送)(步骤S306)。在Wi-Fi显示标准中，RTP(Real-time TransportProtocol，实时传输协议)用作为视频流协议。RTP是用于经由网络实时地发送并接收例如运动图像和声音等的多媒体数据的协议，并且在较低的层中利用UDP或TCP作为传输协议。
随后，模式管理单元214确定是否在视频流期间终止直接模式(步骤S307)。作为该确定，模式管理单元214能够确定，例如随着时间的经过现在在视频流下的被存储的视频是否达到结尾。模式管理单元214可以确定通过对输入单元204的用户操作，或者来自其他通信装置102对输入单元204的远程操作，例如由Wi-Fi显示标准定义的UIBC(用户输入返回信道)功能，是否做出停止再现视频的指令。
如果模式管理单元214确定终止直接模式(在步骤S307中为“是”)，则显示控制单元211在显示单元205中显示操作设置画面，并且输入单元204接受用户的设置指令(步骤S308)。
图5示出通过显示控制单元211在显示单元205中显示的操作设置画面的示例。显示控制单元211在显示单元205中显示能够选择是否继续画面共享的选择区域501。如果用户想要继续画面共享，则他/她能够选择OK(确定)按钮并且，如果他/她不想继续画面共享，则选择取消按钮。
在步骤S309中，基于用户在步骤S308中的选择操作，模式管理单元214确定是否继续画面共享。如果用户选择了OK按钮(在步骤S309中为“是”)，则模式管理单元214从直接模式切换到镜像模式，并且通信控制单元212继续根据该切换对画面进行镜像(步骤S310)。注意，能够通过使模式管理单元214通过RTSP SET_PARAMETER(RTSP设置_参数)将参数设置为预定图像格式，来做出到镜像模式的切换(改变)。注意，参数所设置到的图像格式是当拍摄并编码在源设备的显示画面上再现的视频时使用的格式。
另一方面，如果用户选择取消按钮(在步骤S309中为“否”)，则模式管理单元214确定完成画面共享。响应于此，通信控制单元212终止视频共享(步骤S311)。在Wi-Fi显示标准中，通过与其他通信装置102交换RTSP TEARDOWN(RTSP清楚)(M8)消息来终止视频流。结果是，RTSP与前述的RTP的会话断开。
随后，模式管理单元214确定有/无恢复画面共享的指令(步骤S312)。模式管理单元214能够通过检测用户是否按下图4中的画面共享开始按钮或者输入单元204是否接受用户的图像选择操作，来做出该确定。在步骤S312中，如果模式管理单元214确定没有恢复画面共享的指令的情况下经过了预定时间(在步骤S312中为“是”)，则决定断开无线连接。响应于此，通信控制单元212断开无线连接并终止画面共享处理(步骤S313)。注意，这里能够将预定时间(超时时间)预设为任意时间并且能够将其设置时间0。对于时间0，如果没有恢复画面共享的指令，则通信控制单元212能够立即断开无线连接。作为选择，当用户选择图5的画面上的取消按钮时，可以显示用于使用户指示“是否断开无线连接？”的画面，然后根据用户使用该画面的指令，处理可以进入步骤S313。
另一方面，在步骤S312中，如果模式管理单元214确定在预定时间内有恢复画面共享的指令(在步骤S312中为“否”)，则处理返回到步骤S304。然后，通信控制单元212再次全部执行从与其他通信装置102的能力交换和协商起的处理。注意，例如，恢复画面共享的指令是指诸如按下图4中所示的画面共享恢复按钮等的操作。但是，本发明不限于此，而指令可以是由用户进行的对被存储的图像的选择操作、再现操作等。
如上所述，图3中的流程图的处理使得通信装置101能够在直接模式结束时按照用户的意图来控制是否继续画面共享的操作。
现在将参照图6至图8描述本实施例的由通信装置101和其他通信装置102进行的整个系统的连接处理。
图6是用于说明在直接模式结束之后当通信装置101以镜像模式继续画面共享时与其他通信装置102的连接序列的序列表。通常，在Wi-Fi显示的序列中，在设备发现(步骤S601至步骤S604)、连接设立(步骤S605至步骤S613)、能力交换/协商(步骤S614)和会话建立/再现开始(步骤S615)的各步骤之后开始视频流(步骤S616)。注意，也准备在连接设立(步骤S605至步骤S613)等之前的发现设备的步骤作为Wi-Fi显示的可选标准。然而，在本实施例中为了描述简单而不使用。
在通信装置101和其他通信装置102的设备发现步骤中(步骤S601至步骤S604)，通信装置101和其他通信装置102通过来自充当源设备的通信装置101的开始设备发现(步骤S601)的指令来发送和接收探测请求(步骤S602)和探测响应(步骤S603)。注意，充当沉设备的其他通信装置102也能够开始设备发现。由Wi-Fi Direct标准定义在设备发现时发送的和接收的无线框架，并且信标等也是可用的。通信装置101通过从其他通信装置102接收探测响应(步骤S603)来检测其他通信装置102，并且经由显示单元205将设备发现结果通知给用户(步骤S604)。
在通信装置101与其他通信装置102的连接设立的步骤中(步骤S605至步骤S613)，首先，通信装置101的用户从在显示单元205中显示的所发现的设备的列表中选择其他通信装置102(步骤S605)。选择之后，通信装置101与其他通信装置102发送并接收预定的无线框架(步骤S606至步骤S613)，进行连接设立。也由Wi-Fi Direct标准定义在连接设立时发送的和接收的无线框架，并且除了在步骤S606至步骤S613中的无线框架之外，在上述步骤S303的说明中描述的无线框架也是可用的。
通信装置101与其他通信装置102的能力交换/协商步骤(步骤S614)和会话建立/再现开始步骤(S615)分别如在上述步骤S304和步骤S305的说明中所描述的。即通信装置101发送和接收由Wi-Fi显示标准定义的预定的RTSP消息，并且开始到其他通信装置102的视频流(步骤S616)。注意，为了描述的简单，这里进行通过直接模式的视频流。
随后，随着经过预定的时间或者由用户操作，终止对通信装置101中的存储的视频的再现(步骤S617)，通信装置101发送和接收RTSP PAUSE(RTSP暂停)(M9)消息(步骤S618)。因此，通信装置101暂停到其他通信装置102的视频流。此时，在其他通信装置102的显示单元中不显示通信装置101中的显示单元205的画面。注意，在视频流暂停的同时显示在其他通信装置102中的画面不是本发明的主要主题，并且因此将省略其描述。
注意，RTSP PAUSE请求通常从充当沉设备的其他通信装置102发送。然而，也可以通过在RTSP SET_PARAMETER(M5)请求中应用触发器而从充当源设备的通信装置101侧向沉设备发出RTSP PAUSE请求。注意，不仅通过发送和接收RTSP PAUSE(M9)消息还能够通过不进行来自通信装置101的视频流，能够暂停与其他通信装置102的画面共享。
在通信装置101的显示单元205中显示图5中示例的操作设置画面(步骤S619)并且从用户接收到继续画面共享的指令(步骤S620)时，进行到通信装置101与其他通信装置102的镜像模式的切换(步骤S621至S623)。在切换到镜像模式时，通信装置101首先发送和接收RTSP SET_PARAMETER(M4)消息(步骤S621)，并且设置在镜像模式中使用的参数。随后，在发送和接收RTSP PLAY(M7)消息时(步骤S622)，通信装置101通过镜像到其他通信装置102来开始视频流(步骤S623)。
注意，与步骤S618中的RTSP PAUSE类似，通常从充当沉设备的其他通信装置102发送RTSP PLAY(RTSP播放)请求。然而，也可以通过在RTSP SET_PARAMETER(M5)请求中应用触发器而从充当源设备的通信装置101侧向沉设备发出RTSP PLAY请求。注意，如果在步骤S618中没有发送和接收RTSP PAUSE(M9)消息，也需要在S622中没有发送和接收RTSP PLAY(M7)消息。
图7是用于说明在直接模式结束之后当通信装置101不继续画面共享时与其他通信装置102的连接序列的序列表。通信装置101与其他通信装置102之间的连接序列(步骤S701至S719)与图6中的通信装置101与其他通信装置102之间的连接序列(步骤S601至S619)相同，因此将省略其描述。
与图6中的序列不同，在从用户接收到终止画面共享的指令时(步骤S720)，通信装置101通过发送和接收RTSP TEARDOWN(M8)消息终止与其他通信装置102的视频流(步骤S712)。注意，通常从充当沉设备的其他通信装置102发送RTSP TEARDOWN请求。然而，也可以通过在RTSP SET_PARAMETER(M5)请求中应用触发器而从充当源设备的通信装置101侧向沉设备发出RTSP TEARDOWN请求。最后，当经过了预定的超时时间而没有恢复画面共享的指令时(步骤S722)，通信装置101断开无线连接(步骤S723)并且终止与其他通信装置102的画面共享。
图8是用于说明在直接模式结束时在通信装置101没有继续画面共享而是稍后恢复画面共享的情况下与其他通信装置102的连接序列的序列表。通信装置101与其他通信装置102之间的连接序列(步骤S801至步骤S821)与图7中的通信装置101与其他通信装置102之间的连接序列(步骤S701至S721)相同，因此将省略其描述。
与图7中的序列不同，在从用户接收到恢复画面共享的指令时(步骤S822)，在能力交换/协商步骤(步骤S823)和会话建立/再现开始(步骤S824)的各步骤之后恢复视频流(步骤S825)。因此在恢复画面共享时可以跳过设备发现步骤(步骤S802)和连接设立步骤(步骤S806至步骤S813)，使得可以更容易地恢复视频流。
如上所述，在第一实施例中的通信装置101在直接模式结束时在显示单元205中显示用于选择是否继续画面共享的画面，并且基于来自用户操作来进行随后的处理。这使得用户能够根据意图决定在直接模式结束时是否进行画面共享，改善可操作性/对用户的便利性。
<第二实施例>
在上述的第一实施例中的通信装置101被构造为在直接模式结束时显示操作设置画面，并且基于用户操作控制是否继续画面共享。与此对照，在本实施例中的通信装置101仅在紧接在直接模式之前以镜像模式进行画面共享的情况下才显示操作设置画面。然后，如果在紧接在直接模式之前未以镜像模式进行画面共享，则通信装置101终止视频流而不显示操作设置画面。
图9是示出根据第二实施例的通信装置101与其他通信装置对监视器画面进行镜像的过程的示例的流程图。在图9中，步骤S901至S907和S910至S915中的处理分别与图3中的步骤S301至S307和S308至S313中的处理相同，因此将省略其描述。
在步骤S907中，如果判断直接模式被终止(步骤S907中为“是”)，则模式管理单元214确认紧接在刚刚终止的直接模式之前进行的画面共享的模式(步骤S908)。随后，模式管理单元214确定在步骤S908中确认的模式是否是镜像模式(步骤S909)。只有在模式管理单元214在步骤S909中确定紧接在刚刚终止的直接模式之前以镜像模式进行画面共享的情况下(步骤S909中为“是”)，显示控制单元211才显示操作设置画面(步骤S910)。另一方面，如果模式管理单元214未确定紧接在刚刚终止的直接模式之前以镜像模式进行了画面共享(步骤S909中为“否”)，则显示控制单元211不显示操作设置画面并且通信控制单元212终止视频流(步骤S913)。
如上所述，如果紧接在以直接模式的画面共享之前未进行以镜像模式的画面共享，则在本实施例中的通信装置101在不显示操作设置画面的情况下终止视频流。这能够控制在直接模式结束时是否继续画面共享的操作，使得能够改善可操作性/对用户的便利性。
<第三实施例>
在第二实施例中的通信装置101被构造为，仅在以紧接在直接模式之前的镜像模式进行画面共享的情况下显示操作设置画面，并且如果以镜像模式的画面共享未在紧接在直接模式之前进行，则终止视频流而不显示操作设置画面。与此对照，在本实施例中的通信装置101根据紧接在以直接模式的画面共享之前的模式在直接模式结束时自动地切换操作。
图10是示出根据第三实施例的、通信装置与其他通信装置对监视器画面进行镜像的过程的示例的流程图。在图10中，步骤S1001至S1009和S1010至S1013中的处理分别与图9中的步骤S901至S909和S912至S915中的处理相同，因此将省略其描述。
在步骤S1009中，如果确定紧接在前的模式是镜像模式(步骤S1009中为“是”)，则显示控制单元211不在显示单元205中显示操作设置画面。此外，模式管理单元214自动地切换到镜像模式，并且通信控制单元212继续画面共享。另一方面，如果未确定紧接在前的模式是镜像模式(步骤S1009中为“否”)，则通信控制单元212终止视频流(步骤S1011)。
如上所述，本实施例中的通信装置101根据紧接在以直接模式的画面共享之前的模式在直接模式结束时自动地切换操作。这能够控制在直接模式结束时是否继续画面共享的操作，使得能够改善可操作性/对用户的便利性。
<其他实施例>
注意，能够根据需要组合上述的各实施例，并且用户能够在要由通信装置操作的第一至第三实施例中的特定实施例中设置装置。
还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)TM)、闪存装置以及存储卡等中的一个或更多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参照示例性实施例对本发明进行了描述，但是应该理解，本发明不限于所公开的示例性实施例。应当对权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (9)

1.一种通信装置，所述通信装置包括：
通信单元，其被构造为与其他通信装置进行通信，以及以第一通信模式和第二通信模式中的一者发送图像数据，在所述第一通信模式中，将在通信装置的显示单元中显示的图像数据发送给其他通信装置，使得在其他通信装置中显示发送的图像数据，在所述第二通信模式中，将在通信装置的存储单元中存储的图像数据发送给其他通信装置，且不在通信装置的显示单元中显示，使得在其他通信装置中显示发送的图像数据；以及
确定单元，其被构造为确定是否继续图像数据发送，
其中，在根据所述第一通信模式发送图像数据期间开始的根据所述第二通信模式发送图像数据被终止的情况下，
所述通信单元被构造为：
在所述确定单元确定继续图像数据发送的情况下，根据所述第一通信模式进行图像数据的发送；以及
在所述确定单元确定不继续图像数据发送的情况下，终止图像数据发送。
2.根据权利要求1所述的通信装置，所述通信装置还包括：
显示控制单元，其被构造为在所述通信单元终止以所述第二通信模式的图像数据发送之后，在所述显示单元中显示用于接受用户操作的画面，
其中，所述确定单元基于接受的用户操作确定是否继续图像数据发送。
3.根据权利要求1所述的通信装置，其中，所述确定单元还被构造为基于用户操作来确定是否恢复图像数据发送，
其中，在所述通信单元终止图像数据发送之后，
在所述确定单元确定不恢复图像数据发送的情况下，所述通信单元断开与其他通信装置的连接。
4.根据权利要求2所述的通信装置，其中，所述通信单元不向其他通信装置发送，用于接受所述显示控制单元的用户操作的、在通信装置的画面上的图像数据。
5.根据权利要求3所述的通信装置，其中，在所述通信单元终止图像数据发送之后，
在所述确定单元确定恢复图像数据发送的情况下，当经过预定的时间时，通信单元再次建立与其他通信装置的连接。
6.根据权利要求1所述的通信装置，其中，所述通信单元被构造为通过遵循Wi-Fi显示标准的所述第一通信模式来执行图像数据的传输。
7.根据权利要求1所述的通信装置，其中，所述通信单元被构造为通过遵循Wi-Fi显示标准的所述第二通信模式来执行图像数据的传输。
8.一种通信装置的控制方法，所述控制方法包括：
通过以第一通信模式和第二通信模式中的一者发送图像数据，在所述第一通信模式中，将在通信装置的显示单元中显示的图像数据发送给其他通信装置，使得在其他通信装置中显示发送的图像数据，在所述第二通信模式中，将在通信装置的存储单元中存储的图像数据发送给其他通信装置，且不在通信装置的显示单元中显示，使得在其他通信装置中显示发送的图像数据；
确定是否继续图像数据发送；以及
在根据所述第一通信模式发送图像数据期间开始的根据第二通信模式发送图像数据被终止的情况下，
在确定步骤中确定决定继续图像数据发送的情况下，根据所述第一通信模式来控制通信装置发送图像数据，并且
在确定步骤中确定不继续图像数据发送的情况下，控制通信装置终止图像数据发送。
9.一种存储有程序的计算机可读存储介质，当由通信装置中包括的计算机执行所述程序时，使通信装置进行权利要求8中定义的控制方法。
CN201710575552.9A 2016-07-22 2017-07-14 通信装置、控制方法及计算机可读存储介质 Active CN107645490B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016144753A JP6701021B2 (ja) 2016-07-22 2016-07-22 通信装置、通信方法、およびプログラム
JP2016-144753 2016-07-22

Publications (2)

Publication Number Publication Date
CN107645490A CN107645490A (zh) 2018-01-30
CN107645490B true CN107645490B (zh) 2021-02-26

Family

ID=59686723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710575552.9A Active CN107645490B (zh) 2016-07-22 2017-07-14 通信装置、控制方法及计算机可读存储介质

Country Status (5)

Country Link
US (1) US11093206B2 (zh)
EP (1) EP3273660B1 (zh)
JP (1) JP6701021B2 (zh)
KR (1) KR20180010984A (zh)
CN (1) CN107645490B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102412283B1 (ko) * 2016-02-17 2022-06-23 삼성전자 주식회사 전자 장치 및 전자 장치의 영상 공유 제어 방법
US11347054B2 (en) * 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
KR102114992B1 (ko) * 2018-04-25 2020-05-25 (주)휴맥스 무선 통신 장비 및 무선 통신 장비의 메쉬 네트워크 구성 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255949A (zh) * 2010-05-18 2011-11-23 三星电子株式会社 在便携式终端中提供网络相机服务的方法和便携式终端
CN103092510A (zh) * 2012-12-28 2013-05-08 中兴通讯股份有限公司 电子装置及其屏幕共享时应用程序的保护方法
CN104052788A (zh) * 2013-03-12 2014-09-17 三星电子株式会社 用于共享内容的方法和设备
CN104202461A (zh) * 2014-08-11 2014-12-10 苏州易动智能科技有限公司 一种连接智能手机功能同步化的汽车音响系统
CN204362241U (zh) * 2015-01-31 2015-05-27 深圳市芯晶彩科技有限公司 屏幕共享装置及系统
CN104717549A (zh) * 2013-12-13 2015-06-17 中国移动通信集团公司 一种多屏间信息交互方法和设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020122401A1 (en) * 2001-03-02 2002-09-05 Zeng-Jun Xiang System and method in a wireless telecommunication network for placing a voice call on hold and conducting a data session
KR100762131B1 (ko) 2001-08-03 2007-10-02 엘지전자 주식회사 블루투스 모듈을 이용한 이동통신 단말기의 수신모드제어방법
AU2003299638A1 (en) * 2002-12-16 2004-07-22 Motorola, Inc. Method and apparatus for mixed mode personal communication
US20060031779A1 (en) 2004-04-15 2006-02-09 Citrix Systems, Inc. Selectively sharing screen data
JP2006163994A (ja) 2004-12-09 2006-06-22 Sharp Corp 携帯情報端末
JP4738805B2 (ja) * 2004-12-16 2011-08-03 株式会社リコー 画面共有システム、画面共有方法、画面共有プログラム
KR100696827B1 (ko) 2005-12-19 2007-03-19 주식회사 대우일렉트로닉스 디브이디 녹화 장치의 데이터 녹화 방법
JP4945528B2 (ja) * 2008-08-21 2012-06-06 株式会社東芝 表示装置、通信方法、および通信プログラム
US8416767B2 (en) * 2009-07-06 2013-04-09 T-Mobile Usa, Inc. Communication mode swapping for telecommunications devices
KR101918040B1 (ko) * 2012-02-20 2019-01-29 삼성전자주식회사 스크린 미러링 방법 및 그 장치
JP2014002581A (ja) 2012-06-19 2014-01-09 Sharp Corp データ出力装置、制御方法、および制御プログラム
US9699271B2 (en) * 2013-01-29 2017-07-04 Blackberry Limited Method and apparatus for suspending screen sharing during confidential data entry
KR102133531B1 (ko) 2013-08-23 2020-07-13 삼성전자주식회사 컨텐츠 재생 방법 및 그에 따른 단말, 그에 따른 시스템
US10110393B2 (en) * 2013-09-30 2018-10-23 Cavium, Inc. Protocol switching over multi-network interface
JP2015104098A (ja) * 2013-11-28 2015-06-04 パナソニックＩｐマネジメント株式会社 無線通信装置、及びその無線通信方法
US10045065B2 (en) * 2014-09-05 2018-08-07 Qualcomm Incorporated Synchronization and control of overlay contents for video streaming in a wireless communication system
JP6378606B2 (ja) * 2014-10-20 2018-08-22 キヤノン株式会社 通信装置、その制御方法、およびプログラム
US20160309532A1 (en) * 2015-04-20 2016-10-20 Hisense Usa Corp. Private social networking platform for real-time content sharing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102255949A (zh) * 2010-05-18 2011-11-23 三星电子株式会社 在便携式终端中提供网络相机服务的方法和便携式终端
CN103092510A (zh) * 2012-12-28 2013-05-08 中兴通讯股份有限公司 电子装置及其屏幕共享时应用程序的保护方法
CN104052788A (zh) * 2013-03-12 2014-09-17 三星电子株式会社 用于共享内容的方法和设备
CN104717549A (zh) * 2013-12-13 2015-06-17 中国移动通信集团公司 一种多屏间信息交互方法和设备
CN104202461A (zh) * 2014-08-11 2014-12-10 苏州易动智能科技有限公司 一种连接智能手机功能同步化的汽车音响系统
CN204362241U (zh) * 2015-01-31 2015-05-27 深圳市芯晶彩科技有限公司 屏幕共享装置及系统

Also Published As

Publication number Publication date
KR20180010984A (ko) 2018-01-31
EP3273660B1 (en) 2020-01-15
JP6701021B2 (ja) 2020-05-27
JP2018014051A (ja) 2018-01-25
CN107645490A (zh) 2018-01-30
US11093206B2 (en) 2021-08-17
EP3273660A1 (en) 2018-01-24
US20180024805A1 (en) 2018-01-25

Similar Documents

Publication Publication Date Title
JP7123594B2 (ja) 通信装置、制御方法、およびプログラム
JP6566616B2 (ja) 通信装置、その制御方法、およびプログラム
US11435973B2 (en) Communication apparatus, communication method, and storage medium
CN107645490B (zh) 通信装置、控制方法及计算机可读存储介质
KR20190077221A (ko) 통신장치, 제어방법, 기억매체 및 프로그램
CN108632244B (zh) 通信装置、通信系统、通信方法和存储介质
US11457267B2 (en) Communication apparatus, communication method, and storage medium
JP7289617B2 (ja) 通信装置、制御方法、およびプログラム
US20180317272A1 (en) Communication apparatus, control method, and recording medium
US11128990B2 (en) Communication apparatus, control method, and storage medium
JP7146473B2 (ja) 通信装置、通信方法、およびプログラム
JP7080624B2 (ja) 通信装置、制御方法、およびプログラム
JP6701406B2 (ja) 通信装置、その制御方法、およびプログラム
JP2019117548A (ja) 通信装置、制御方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant