CN103765872A - 通信装置及通信系统 - Google Patents
通信装置及通信系统 Download PDFInfo
- Publication number
- CN103765872A CN103765872A CN201380002788.3A CN201380002788A CN103765872A CN 103765872 A CN103765872 A CN 103765872A CN 201380002788 A CN201380002788 A CN 201380002788A CN 103765872 A CN103765872 A CN 103765872A
- Authority
- CN
- China
- Prior art keywords
- image
- communicator
- indication
- information
- communicators
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/155—Conference systems involving storage of or access to video conference sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/567—Multimedia conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
Abstract
公开了在各通信装置中,能够实时地共享包含同一图像内容的图像的技术,在由根据该技术相互地进行内容数据的发送接收的多个通信装置(通信装置100)构成的通信系统中,在多个通信装置中的其中一个通信装置被用户输入了指示从在发送中或接收中的内容数据中所包含的特定的视频信息中获取并保存图像的图像保存指示的情况下,例如,被用户输入了图像保存指示的通信装置,通过对于构成通信系统的多个通信装置发送包含图像保存指示的指示信息,多个通信装置的各个通信装置基于图像保存指示,从发送中或接收中的特定的视频信息中获取图像并保存。
Description
技术领域
本发明技术涉及发送或接收至少包含视频信息的内容数据的通信装置(以下,有时也记载为通信装置)及通信系统。
背景技术
以往,存在经由网络,通过在分开的地点间使用了视频和语音的双向通信装置,实现远程地点间的会议的技术,改善各种各样的环境下的业务效率。
例如,在会议中,除出席者双方的容貌以外,有时还提示作为会议中使用的资料的视频/图像。例如,通过事前共享资料,或另外在网络上的服务器中放置视频/图像的数据,可在各个地点参照相同的内容。
此外,与本发明技术相关联,例如,存在下述专利文献1的公开技术。在专利文献1中,公开了在两地点的通信系统中将在通话装置间内容的关联信息与其他信息比较、检索后,通过提示该内容,双方能够视听相同内容的技术。
现有技术文献
专利文献
专利文献1:专利第4216308号(段落[0010])
发明内容
但是,例如,事前共享内容需要准备,此外,事前共享实时变化的内容是不可能的。因此,专利文献1所记载的事前存储内容的系统有欠缺事前准备的容易性,并且在通信中与实时地变化的内容不对应的问题。
为了解决上述问题,根据本发明技术的一方式,例如,在各通信装置中,可实时地共享包含相同的图像内容的图像。
本发明技术的一方式,例如是由相互进行内容数据的发送接收的多个通信装置构成的通信系统,
在所述多个通信装置中的一个被输入了指示从该通信系统中进行发送接收的所述内容数据中所包含的视频信息中获取并保存图像的图像保存指示的情况下,所述多个通信装置的各个通信装置基于所述图像保存指示进行从所述视频信息中获取并保存图像的处理。
根据上述结构,可抑制业务量,并且在各通信装置中实时地共享包含相同的图像内容的图像。
再有,本发明技术形式,除了上述通信系统以外,还可以通过通信装置(通信装置)等实现。
本发明技术的一方式中,例如通过上述通信系统,能够在各通信装置中,实时地共享包含相同的图像内容的图像。
再有,本发明技术具有的效果及优点不限于上述,进一步的效果及优点从本说明书及附图的展示内容会更清楚。上述进一步的效果及优点,例如,通过在本说明书及附图所展示的各种各样的实施方式及特征而独立地提供,不需要通过本发明技术的一方式来提供所有的效果及优点。
附图说明
图1表示一例本发明技术的一方式中的系统结构的图。
图2表示一例本发明技术的一方式的通信装置100的结构的方框图。
图3表示一例在本发明技术的一方式中,在视频的接收端由用户输入了图像保存指示的情况下的图像保存动作的时序图。
图4是表示一例在本发明技术的一方式中,在视频的发送端由用户输入了图像保存指示的情况下的图像保存动作的时序图。
图5是表示一例在本发明技术的一方式中,由用户输入了图像显示指示的情况下的图像显示动作的时序图。
图6是表示一例本发明技术的一方式的通信装置100的GUI的图。
具体实施方式
以下,参照附图来说明本发明技术的一方式。
(系统结构)
首先,参照图1,说明一例本发明技术的一方式中的系统结构。图1是表示一例本发明技术的一方式中的系统结构的图。
如图1所示,在各基点(各地点)配置通信装置100。各通信装置100分别与其他通信装置100通过任意的通信媒体能够通信。此外,在各通信装置100中,例如,连接照相机(拍摄装置)200及监视器(显示装置)300,将通过照相机200拍摄的视频发送到其他通信装置100,同时能够将从其他通信装置100接收到的视频显示在监视器300上。
再有,在以下,作为本发明技术的一方式,着眼于各通信装置100主要将本装置拍摄的视频发送到其他通信装置进行说明,但例如也可以在各通信装置100中连接话筒(集音装置)及扬声器(语音输出装置),能够发送接收视频和语音。
此外,由各通信装置100拍摄的视频,通过流式传输形式,总是被发送到其他通信装置100,并且,通过接收到视频的通信装置100与视频的接收一起进行再现(对监视器300的显示)。因此,在本说明书中,有时将从各通信装置向其他通信装置发送的视频表现为视频流。此外,在本说明书中,有时将进行从视频中截取图像的处理(从视频中获取图像的处理、捕获等的、从一连串的视频帧生成静止图像的处理)所得的图像表现为捕捉图像(snapimage),将捕捉图像中包含的内容表现为图像内容。
再有,在图1中,图示了3台通信装置100分别进行视频流的发送接收的系统结构,但通信装置100可以为2台,或者,也可以为4台以上。此外,作为网络拓扑,构成树构造、网状构造,也可以是将特定基点的视频分配给多基点的结构、或通过包含多个基点控制单元(Multi≡point Control Unit)的装置(也可以内置在通信装置100中)的网络结构。
此外,在以下,说明各通信装置100基本上对其他所有的通信装置100发送视频的情况,但也可以仅对于特定的1台或多台通信装置100发送视频。而且,在以下,说明各通信装置100进行双向的通信(视频的发送及接收)的情况,但也存在不进行视频的接收而仅进行发送的通信装置100(在本通信装置100中不需要与监视器300的连接)、或不进行视频的发送而仅进行接收的通信装置100(本通信装置100中不需要与照相机200的连接)。
此外,1台通信装置100也可以发送多个视频流。例如,1台通信装置上连接多台照相机200,由该多台照相机200各自拍摄的视频也可以发送到其他通信装置100。作为一例子,假定使用在各地点设置的通信装置100进行将各地点之间连结的会议,在各通信装置100中连接人物拍摄用的照相机200和资料拍摄用的照相机200,人物拍摄用的照相机200的视频和资料拍摄用的照相机200的视频被发送到其他通信装置100的情况等。此外,个人电脑、其他的视频再现装置等也可以取代照相机200作为视频发送源(视频源)来连接。
以后,有时着眼于从多台通信装置100中的1台通信装置100发送的发送信息(例如,视频或后述的指示信息),将发送该发送信息的通信装置100表现为发送端,将接收该发送信息的通信装置100表现为接收端。再有,从各通信装置100以分别能够发送接收视频流的方式而构成的事实可知,有时对于某个发送信息(例如,某个视频流)成为发送端,对于其它发送信息(其它视频流)成为接收端。
(通信装置的结构)
接着,说明一例本发明技术的一方式的通信装置100的结构。图2是表示一例本发明技术的一方式的通信装置100的结构的方框图。
图2中所图示的通信装置100,例如具有信息输入接口101、信息输出接口102、指示输入接口103、通信接口104、内容数据发送单元105、内容数据接收单元106、指示信息生成单元107、指示信息解释单元108、捕捉图像保持单元109、捕捉图像读出单元110。
信息输入接口101是读入应传输到其他通信装置100的信息的接口。信息输入接口101例如能够与照相机200或其他的视频再现装置连接,通过信息输入接口101,能够将视频信息读入到通信装置100内部。再有,信息输入接口101,例如也可以与话筒(集音装置)连接,将语音信息读入到通信装置100内部。此外,在信息输入接口101上,也可以连接1台或多台照相机200或其他的视频再现装置,读入多个视频信息。从信息输入接口101读入的视频信息以供给到内容数据发送单元105的方式来连接。
此外,信息输出接口102是将从其他通信装置100接收到的信息输出的接口。信息输出接口102,例如可与监视器300等的显示装置连接,可将视频信息输出到通信装置100外部。再有,信息输出接口102,例如也可与扬声器(语音输出装置)等连接,将语音信息输出到通信装置100外部。此外,在信息输出接口102上,也可以连接1台或多台监视器300或其他视频显示装置,能够将多个视频信息用不同的装置显示。
此外,指示输入接口103是将来自用户输入的用户的指示取入通信装置100内部的用户接口。指示输入接口103,例如,可与遥控器(远程控制器)、鼠标或键盘、触摸面板等连接,可将来自使用了这样的用户接口装置的用户的指示取入通信装置100内部。从指示输入接口103取入的用户指示的信号(用户指示信号)以供给到指示信息生成单元107的方式来连接。
再有,上述信息输入接口101、信息输出接口102、指示输入接口103,也可以不是被提供作为对外部的接口,而作为内部接口实现。在作为内部接口实现的情况下,作为通信装置100的一部分,可考虑例如装备照相机200、监视器300、扬声器、操作用开关等,这些装置连接到内部接口的结构等。
此外,通信接口104是可进行对用于通信装置100与其他地点之间的通信的以太网(注册商标)、无线LAN(Local Area Network:局域网络)、移动电话等的公共无线(蜂窝系统)等的、无论无线、有线的网络的连接的接口。通信接口104还可考虑(特别是无线的情况)通过内置装置而不作为物理性的接口配备在通信装置100本体中的结构。
此外,内容数据发送单元105、内容数据接收单元106分别具有进行内容数据的发送及接收的功能。内容数据发送单元105将从信息输入接口101供给的信息(例如视频信息)变换为通过通信路径交换的内容数据的格式,可通过通信接口104发送该内容数据。此外,内容数据接收单元106可将通过通信接口104接收到的内容数据复原及加工为对用户提示的信息(例如视频信息),从信息输出接口102输出。
此外,内容数据发送单元105及内容数据接收单元106通过为了传输内容数据而进行必要的处理(例如,编码/解码、分组数据化/分组数据复原、纠错或重发处理、通信控制等),具有作为双方向通信的通信装置100而发送接收内容数据的功能。而且,内容数据发送单元105及内容数据接收单元106具有进行从发送或接收的视频中截取图像的处理(捕获)的功能。此外,内容数据接收单元106也可以在生成监视器300等的显示装置上显示的视频信息时,将多个视频流(内容数据)、以及从捕捉图像读出单元110供给的捕捉图像等进行合成。
再有,不进行内容数据的发送而仅进行接收的接收专用的通信装置100,不需要一定具有内容数据发送单元105,此外,不进行内容数据的接收而仅进行发送的发送专用的通信装置100,不需要一定具有内容数据接收单元106。此外,从内容数据发送单元105发送的内容数据也可以被供给到内容数据接收单元106,由本通信装置100发送的视频通过信息输出接口102被显示在监视器300上。
此外,指示信息生成单元107具有基于来自指示输入接口103的用户指示信号而生成指示信息,通过通信接口104向其他通信装置100发送指示信息,或在用户指示为图像保存指示的情况下,对内容数据发送单元105或内容数据接收单元106指示从在进行发送或接收的内容数据中截取图像而获取并保存捕捉图像,或在用户指示为图像显示指示的情况下,对捕捉图像读出单元110指示从捕捉图像保持单元109读出规定的捕捉图像的功能。
此外,指示信息解释单元108具有解释通过通信接口104接收到的指示信息,并在指示信息为图像保存指示的情况下,对内容数据发送单元105或内容数据接收单元106指示从在进行发送或接收的视频中截取图像而获取并保存捕捉图像,在指示信息为图像显示指示的情况下,对捕捉图像读出单元110指示从捕捉图像保持单元109读出规定的捕捉图像的功能。
再有,根据用途,也可以不接受从其他通信装置100发送的指示信息,而仅接受通过用户输入的指示的方式来构成通信装置100(即,仅具有对于其他通信装置100发送指示信息的功能),或相反地,也可以按不接受通过用户输入的指示,而仅接受从其他通信装置100发送的指示信息的方式来构成通信装置100(即,仅具有从其他通信装置100接收指示信息的功能)。在以不接受从其他通信装置100发送的指示信息的方式构成的通信装置100中,不需要一定具有指示信息解释单元108。此外,以不接受通过用户输入的指示的方式构成的通信装置100不需要一定具有指示信息生成单元107。
此外,捕捉图像保持单元109具有保持在内容数据发送单元105或内容数据接收单元106中从视频中截取出的捕捉图像的功能。
此外,捕捉图像读出单元110具有基于来自指示信息生成单元107或指示信息解释单元108的指示,读出指定的捕捉图像,并通过转送到内容数据接收单元106,使捕捉图像从信息输出接口102输出(例如显示在监视器300上)的功能。
再有,通信装置100也可以具有使通过内容数据发送单元105发送的视频的通信或视频稳定的功能(可变更到使视频稳定的模式)、检测通过内容数据接收单元106接收的视频的通信的稳定性,并在满足了一定的稳定性基准的情况下执行捕捉图像的截取处理的功能、准许功能(可变更为使视频稳定的模式)、在捕捉图像的截取处理及保存中将新的图像保存指示中断(b10cking)的功能、管理确定捕捉图像的信息并根据确定该捕捉图像的信息识别捕捉图像的功能、生成确定捕捉图像的信息并通知给其他通信装置100的功能、规定捕捉图像的截取定时并通知给其他通信装置100的功能等。
此外,图2中所图示的通信装置100的各块中的信号或数据的发送接收的传输路径,例如以下那样。
路径A表示基于用户输入从指示输入接口103输出的用户指示信号供给到指示信息生成单元107。在本发明技术的一方式中,由用户输入的用户指示,例如是指示图像的保存的图像保存指示、或是指示图像的显示的图像显示指示。
此外,路径B表示基于用户指示信号由指示信息生成单元107生成的指示信息通过通信接口104发送到其他通信装置100。此外,路径C表示从其他通信装置100通过通信接口104接收到的指示信息供给到指示信息解释单元108。
此外,路径D表示在用户指示信号(路径A)为图像保存指示,并且,本通信装置100在发送作为图像保存的对象的视频的情况下,从指示信息生成单元107对于内容数据发送单元105进行的图像保存指示。
此外,路径E表示在从其他通信装置100接收的指示信息(路径C)是图像保存指示,并且,本通信装置100在发送作为图像保存的对象的视频的情况下,从指示信息解释单元108对于内容数据发送单元105进行的图像保存指示。
此外,路径F表示在用户指示信号(路径A)是图像保存指示,并且,正从其他通信装置100接收图像保存的对象的视频的情况下,从指示信息生成单元107对于内容数据接收单元106进行的图像保存指示。
此外,路径G在从其他通信装置100接收的指示信息(路径C)是图像保存指示,并且,正从其他通信装置100接收图像保存的对象的视频的情况下,表示从指示信息解释单元108对于内容数据接收单元106进行的图像保存指示。
此外,路径H表示在内容数据发送单元105中从本通信装置100正发送的视频中截取捕捉图像,保存在捕捉图像保持单元109中。此外,路径I表示在内容数据接收单元106中,从本通信装置100正接收的视频中截取捕捉图像,保存在捕捉图像保持单元109中。
此外,路径J表示在用户指示信号(路径A)为图像显示指示的情况下,从指示信息生成单元107对于捕捉图像读出单元110进行的图像显示指示。
此外,路径K表示在从其他通信装置100接收的指示信息(路径C)是图像显示指示的情况下,从指示信息解释单元108对于捕捉图像读出单元110进行的图像显示指示。
此外,路径L、M表示在捕捉图像读出单元110从指示信息生成单元107或指示信息解释单元108接受了图像显示指示的情况下,从捕捉图像保持单元109所保持的捕捉图像之中读出特定的捕捉图像(路径L),并供给到内容数据接收单元106(路径M)。
再有,图2中所图示的各功能块、或具有与这些功能块同等的功能的各处理单元,也可以通过硬件、软件、或它们的组合来实现。此外,例如,图2中所图示的各装置中包含的功能块、或具有同等的功能的各处理单元,也可以通过任意的计算机的CPU及存储器等硬件来实现。此外,通过使计算机执行记述了各功能的动作的程序,也可以实现图2中所图示的各功能块和各处理单元。
特别地,指示信息生成单元107中的指示信息的生成及发送、指示信息解释单元108中的指示信息的解释、从指示信息生成单元107或指示信息解释单元108对内容数据发送单元105或内容数据接收单元106的图像保存指示、或对捕捉图像读出单元110的图像显示指示、内容数据发送单元105或内容数据接收单元106的对捕捉图像保持单元109的捕捉图像的保存、捕捉图像读出单元110的捕捉图像的读出,可通过计算机执行所定程序来实现。此外,捕捉图像保持单元109可通过存储信息的记录媒体来实现。
(基本的图像保存动作)
接着,说明与本发明技术的一方式关联的基本的图像保存动作的一例。根据本发明技术的一方式,在任意的通信装置100中由用户输入了图像保存指示的情况下,在包含该通信装置100的多个通信装置100中,进行从视频中捕捉图像的截取处理及捕捉图像的保存。由此,可抑制通信装置100间的业务量,并且实时地共享同一图像内容。例如,能够在会议中实时地进行资料共享,参照会议参加者间共享的资料的图像而推进议论事项。此外,例如,有时在会议中多次参照,并且,对于可能成为会议的议论事项对象的资料的图像,期望清晰得高于通常视频(例如,反映了出席者双方的容貌的视频),而根据本发明技术的一方式,可以将共享的图像(例如,资料的图像)设为高清晰。
在以下,作为一例子,说明在由3台通信装置100构成的系统(例如,图1所图示的系统)中,着眼于某个视频,由发送该视频的通信装置100(以下,记载为发送端通信装置100A)和接收该视频的通信装置100(以下,记载为接收端通信装置100B、100C)执行的处理。具体地说,分别说明在视频的接收端从用户输入了图像保存指示的情况(图3)和在视频的发送端从用户输入了图像保存指示的情况(图4)。
图3是表示一例在本发明技术的一方式中,在视频的接收端从用户输入了图像保存指示的情况下的图像保存动作的时序图。
在图3中,以在多个通信装置100间经常进行至少包含视频信息的内容数据的发送接收的状态为前提(步骤S1000)。例如,该状态假定在连接各地点配置的所有通信装置100下进行通信(例如会议等)的状态,而且,假定发送端通信装置100A至少对于接收端通信装置100B、100C发送视频流的状态。
如上述,在多个通信装置100间进行内容数据的发送接收的状态下,在接收视频的通信装置100中的1台(例如,接收端通信装置100B)通过用户输入了表示该接收端通信装置100B从发送端通信装置100A接收的视频中保存图像的图像保存指示的情况下(步骤S1001),接收端通信装置100B通过指示信息生成单元107生成包含了指示从相对应的视频流中保存图像的图像保存指示的指示信息(步骤S1002)。
在该指示信息中,例如,也可以包含发送该视频的发送端通信装置100A本体的识别符、确定发送端通信装置100A的网络上的地址、识别发送端通信装置100A被设置的地点的信息(地名、房间或楼层的名称等)、或与该视频对应的视频流的识别符等、能够确定该视频或发送该视频的发送端通信装置100A的信息。特别地,在从发送端通信装置100A发送多个视频流的情况下,为了能够识别这些多个视频流中的特定的视频流,也可以在指示信息中包含用于识别与该视频对应的视频流的识别符。
而且,接收端通信装置100B将步骤S1002中生成的指示信息作为该视频的图像保存指示发送到其他通信装置100(发送端通信装置100A、及与接收端通信装置100B同样地接收该视频的接收端通信装置100C)(步骤S1003)。再有,指示信息的发送方法是任意的,接收端通信装置100B能够通过单播、组播、或广播等将指示信息发送到发送端通信装置100A、及接收端通信装置100C。
此外,接收端通信装置100B与步骤S1002及S1003中的指示信息的生成及发送并行,基于在步骤S1001中由用户输入的图像保存指示,在接收端通信装置100B自身中也开始从该视频中截取并保存图像的处理。接收端通信装置100B在内容数据接收单元106中从接收的该视频中截取图像(步骤S1004),将截取的捕捉图像保存在捕捉图像保持单元109中(步骤S1005)。
另一方面,其他通信装置100(发送端通信装置100A、及接收端通信装置100C)接收从接收端通信装置100B发送的指示信息时,基于接收的指示信息,开始从该视频中截取并保存图像的处理。
发送端通信装置100A在指示信息解释单元108中基于接收的指示信息确定相应的视频,在内容数据发送单元105中,从该视频中截取图像(步骤S1006),并将截取的捕捉图像保存在捕捉图像保持单元109中(步骤S1007)。此外,接收端通信装置100C在指示信息解释单元108中,基于接收的指示信息确定相应的视频,在内容数据接收单元106中,从该视频中截取图像(步骤S1008),将截取的捕捉图像保存在捕捉图像保持单元109中(步骤S1009)。
此外,图4是表示一例在本发明技术的一方式中,在视频的发送端从用户输入了图像保存指示的情况下的图像保存动作的时序图。
在图4中,也与图3同样,以在多个通信装置100间,经常进行至少包含视频信息的内容数据的发送接收的状态作为前提(步骤S1100)。在多个通信装置100间进行内容数据的发送接收的状态中,在发送视频的通信装置100(发送端通信装置100A)中,在由用户输入了表示从该发送端通信装置100A发送到其他通信装置100(接收端通信装置100B、100C)的视频中保存图像的图像保存指示的情况(步骤S1101)下,发送端通信装置100A在指示信息生成单元107中生成包含了指示从相应的视频流中保存图像的图像保存指示的指示信息(步骤S1102)。
在该指示信息中,例如,也可以包含发送该视频的发送端通信装置100A本体的识别符、确定发送端通信装置100A的网络上的地址、识别发送端通信装置100A被设置的地点的信息(地名、房间或楼层的名称等)、或与该视频对应的视频流的识别符等能够确定该视频或发送该视频的发送端通信装置100A的信息。特别地,在从发送端通信装置100A发送多个视频流的情况下,为了能够识别这些多个视频流中的特定的视频流,也可以在指示信息中包含用于识别与该视频对应的视频流的识别符。
而且,发送端通信装置100A将步骤S1102中生成的指示信息作为该视频的图像保存指示发送到其他通信装置100(接收该视频的接收端通信装置100B、100C)(步骤S1103)。再有,指示信息的发送方法是任意的,通信装置100B可以通过单播、组播、或广播等将指示信息发送到通信装置100B、100C。此外,发送端通信装置100A也可以插入指示信息作为发送的视频流的付加信息。
此外,发送端通信装置100A与步骤S1102及S1103中的指示信息的生成及发送并行,基于在步骤S1101中由用户输入的图像保存指示,发送端通信装置100A自身中也开始从该视频中截取并保存图像的处理。发送端通信装置100A在内容数据发送单元105中,从发送的该视频中截取图像(步骤S1104),并将截取的捕捉图像保存在捕捉图像保持单元109中(步骤S1105)。
另一方面,其他通信装置100(接收端通信装置100B、100C)接收从发送端通信装置100A发送的指示信息时,基于接收的指示信息,开始从该视频中截取并保存图像的处理。
接收端通信装置100B、100C分别在指示信息解释单元108中,基于接收的指示信息确定相应的视频,在内容数据接收单元106中,从该视频中截取图像(步骤S1106、S1108),并将截取的捕捉图像保存在捕捉图像保持单元109中(步骤S1107、S1109)。
如以上,在多个通信装置中的其中一个通信装置100中,由用户输入了指示从视频中截取并保存图像的图像保存指示的情况下,该视频在发送接收的所有通信装置100中,进行从该视频截取图像并作为捕捉图像保存的处理。由此,在发送接收该视频的所有的通信装置100中,包含同一图像内容的捕捉图像被保存在各通信装置100的捕捉图像保持单元109中,可实时实现多个通信装置100中的同一图像内容的共享。
再有,在多个通信装置100各个装置中截取出的捕捉图像有可能不一定是在同一定时截取出的图像,但至少是从某个时刻起(由用户输入了图像保存指示的时刻)的一定期间以后所拍摄的视频中截取出的图像,是包含同一图像内容的图像。例如,在使用各地点设置的通信装置100连接了各地点的会议中,在拍摄规定的资料同时进行会议的情况下,根据本发明技术的一方式,可在各通信装置100中,保存包含同一图像内容的捕捉图像(即,拍摄了规定的资料的图像)。
此外,在图3及图4所示的动作中,说明了在构成系统的所有通信装置100中保存包含同一图像内容的捕捉图像的情况,但例如也可以仅特定的1台或多台通信装置100(属于特定的组的通信装置100)进行捕捉图像的保存。例如,这可通过指示信息仅被发送到属于该特定组的通信装置100、或不属于该特定组的通信装置100忽略指示信息来实现。
(中断期间)
此外,各通信装置100在基于用户输入或指示信息的图像保存指示执行图像的保存处理时,也可以断开(中断)其他的同样的指示。例如,在基于用户输入或指示信息的图像保存指示开始了图像的截取处理的情况下,通信装置100的指示信息生成单元107或指示信息解释单元108,在该图像的截取处理中,即使接受了图像的保存的新指示,也可以忽略该新指示。此外,例如,也可以将GUI(Graphical User Interface:图形用户界面)中的指示输入保存图像的按钮无效化(设为不能点击的状态)等,不能进行用于指示图像的保存的用户输入本身。由此,即使在多个地点(多个通信装置100)大致同时被输入了指示进行从某个视频中截取并保存图像的图像保存指示,也仅最前面的指示有效,可不重复保存包含了同一图像内容的图像。
再有,在图像的截取处理中中断新指示时,可以仅中断有关图像的保存处理中的视频的新的图像保存指示,不中断有关与图像的保存处理中的视频不同的视频的指示,或者,也可以不仅中断有关图像的保存处理中的视频的新的图像保存指示,而且中断有关与图像的保存处理中的视频不同的视频的新指示(即,所有的新的图像保存指示)。例如,这可通过识别来实现,以能够分别确定多个基点的视频、或多个照相机、个人电脑、其他的视频再现装置等的视频。
此外,断开其他的同样的指示的期间(中断期间),例如,可作为事前确定的规定的期间(例如,几秒钟),也可以作为在该通信装置100中完成了图像的保存处理为止的期间,或也可以作为在其他通信装置100中也能够确认完成了图像的保存处理的意旨为止的期间。
在图3及图4所图示的流程图中,作为一例子,作为中断期间,图示了设定各通信装置100A~100C能够确认在所有的通信装置100A~100C中完成了图像的保存处理的意旨为止的期间的情况(图3的步骤S1010、或图4的步骤S1110)。该情况下,例如,各通信装置100在完成了图像的保存处理的情况下将完成了图像的保存处理的意旨通知给其他通信装置100(图3的步骤S1011、或图4的步骤S1111),在确认了所有的通信装置100完成了图像的保存处理的情况下,各通信装置100也可以解除新的图像保存指示的中断。
再有,确认在所有的通信装置100中完成了图像的保存处理的意旨的处理可通过任意的方法来实现。例如,如上述,各通信装置100在完成了图像的保存处理的情况下,通过对其他通信装置100通知完成通知,能够在通信装置100间相互地发送接收完成通知,可在所有的通信装置100中确认完成了图像的保存处理的意旨。此外,例如,也可以通过各通信装置100在完成了图像的保存处理的情况下对规定的通信装置100(例如,发送了指示信息的通信装置100、发送视频的通信装置100、或事前确定的通信装置100等)通知完成通知,在该规定的通信装置掌握各通信装置100的状态,并能够确认在所有的通信装置100中完成了图像的保存处理意旨的情况下,对于所有的通信装置100发送表示中断期间结束的信息。
此外,各通信装置100即使在无法确认至少1台以上的通信装置100完成图像的保存处理的情况下,也可以在经过了规定的期间的情况下解除中断期间。再有,在至少1台以上的通信装置100中图像的保存处理上失败的情况下,该通信装置100也可以通过某些方法进行图像的再获取(参照后述的(产生了图像的偏差的情况下的处理))。
此外,在中断期间中,例如,也可以通知进行图像保存处理的意旨、或显示有关新的图像保存指示的用户输入被中断的意旨等来对用户进行反馈。该情况下,各通信装置100可以以只要在中断处理中就一定进行对用户的该反馈的方式来设定,或在发送指示信息的通信装置100与指示信息一起对于各用户请求了进行该反馈的情况下,也可以以在各通信装置100中进行反馈的方式来设定。
(确定捕捉图像的信息的赋予)
此外,各通信装置100对于保存的捕捉图像,也可以分配确定捕捉图像的信息,进行捕捉图像的管理。确定捕捉图像的信息是,与各通信装置100中保存的捕捉图像关联管理的、捕捉图像的识别信息。
特别地,基本上所有的通信装置100中基于同一图像保存指示(某一用户的图像保存输入)来保存包含同一图像内容的捕捉图像,所以对于各通信装置100中保存的包含同一图像内容的捕捉图像,赋予确定捕捉图像的共用的信息(以下,记载为共用ID)是有效的。共用ID是用于确定关于在各通信装置100中保存的捕捉图像,是基于同一图像保存指示生成的捕捉图像而有效的信息。
通过任意的通信装置100、或另外设置的ID管理装置等可执行上述共用ID的赋予(共用ID的生成及通知给各通信装置100)。此外,对于共用ID赋予的定时也无特别地限定,对于各通信装置100中保存的包含同一图像内容的捕捉图像最终赋予共用ID,例如,在进行图像显示时,根据该共用ID的指定,各通信装置100能够显示包含同一图像内容的捕捉图像即可。例如,在图3的步骤S1011、或图4的步骤S1111中的完成确认的处理中,也可以进行ID的赋予。
在以下,说明通过被用户输入了图像保存指示的通信装置100、发送视频的通信装置100、提供ID赋予的权限的ID管理装置(通信装置100中的1台、或另外设置的ID管理装置)的其中一个进行共用ID的赋予的情况。
例如,通过被用户输入了图像保存指示的通信装置100(即,发送指示信息的通信装置100),也可以进行共用ID的赋予。例如,在图3的例子中接收端通信装置100B具有进行共用ID的赋予的权限,在图4的例子中发送端通信装置100A具有进行ID赋予的权限。此外,如上述,共用ID的赋予可以在任意的定时进行,但通过例如与发送指示信息(图3的步骤S1003、或图4的步骤S1103)同时地进行共用ID的赋予,可实现高效率的共用ID的赋予。该情况下,例如,发送指示信息的通信装置100生成在保存了图像时所分配的共用ID,可通过共用ID与指示信息一起发送到其他通信装置100,所有的通信装置100掌握共用ID,在基于该指示信息截取的捕捉图像中关联共用ID。
此外,例如,通过发送作为图像保存的对象的视频的通信装置,也可以进行ID的赋予。例如,图3及图4的例子中,发送端通信装置100A具有进行共用ID的赋予的权限。此外,如上述,共用ID的赋予可以在任意的定时进行,但例如在发送作为图像保存的对象的视频的通信装置100还具有规定从视频中截取图像的定时及通知的功能的情况下,通过与从视频中截取图像的定时信息一起进行共用ID的赋予(而且,表示从视频中截取图像的定时的信息本身也可以作为共用ID利用),可实现高效率的共用ID的赋予,并且降低各通信装置100中的图像保存的时间偏差,在稳定了视频的状态下进行图像保存(参照后述的(视频的稳定)及(各通信装置中图像偏差的抑制))。
此外,例如,也可以在系统内设定具有赋予共用ID的权限的ID管理装置,该ID管理装置进行共用ID的赋予。该ID管理装置可以是经常进行共用ID的赋予的设定的规定的通信装置100,或也可以通过与通信装置100不同的通信装置来实现。该情况下,同样地共用ID的赋予也可以在任意的定时进行。再有,在使与通信装置100不同的通信装置具有作为ID管理装置的功能的情况下,例如,也可以预先设为,通信装置100间发送接收的指示信息还到达该ID管理装置,通过ID管理装置能够检测在通信装置100间发送接收的指示信息。
再有,如上述,即使是不从任意的通信装置100或ID管理装置向所有的通信装置100通知共用ID,各通信装置100对于要保存的捕捉图像单独地赋予ID(以下,记载为本地ID)的情况,通过对于应赋予的本地ID设定一定的规则,各通信装置100也可用同一本地ID来管理包含同一图像内容的捕捉图像。例如,各通信装置100,作为对依次保存的捕捉图像进行管理的本地ID,也可以使用将规定的号设为开始号的编号(升序)。该情况下,各通信装置100例如可以对第1保存的捕捉图像赋予‘0001’、对第2保存的捕捉图像赋予‘0002’等那样的共用的本地ID来管理。
此外,各通信装置100也可以生成包含进行了捕捉图像保存的时刻信息等的本地ID,进行捕捉图像的管理。该情况下,各通信装置100用作本地ID的时刻信息有可能在所有的通信装置100中不一定相同,但在被输入某一图像保存指示后一定期间内,在各通信装置100中保存捕捉图像,所以可将通过具有某一时间段的范围内包含的时刻信息的本地ID在各通信装置100中所管理的捕捉图像看为包含同一图像内容的捕捉图像。
(视频的稳定)
此外,在进行图像保存时,也可以在发送视频的通信装置100中进行视频的稳定、或在接收视频的通信装置100中确认了视频的稳定后进行图像保存。通过视频的稳定,各通信装置100能够保存高质量的图像(例如,图像分辨率高的高清晰的图像),并且在各通信装置100中能够保存无偏差的图像(即,包含了同一图像内容的捕捉图像)。
这里,视频的稳定是指用于抑制视频因通信的业务量的急剧的变动等而紊乱,或在各基点视频的获取时刻上产生不一致的情况的动作。
例如,发送视频的通信装置100在接受了用户输入或指示信息的图像保存指示的情况下将视频转移为稳定的模式,通过一定期间(例如,至上述中断期间完结为止)抑制切换视频或极大地变更动作,也可以降低应保存的图像的偏差(应保存的帧的偏差)。
而且,作为使视频稳定的模式,也可以将该视频的图像分辨率优先,或将纠错或数据重发的处理进一步高度化(增加信息量,充分地取得容许时间等)(利用该处理的通信的稳定关系到视频的稳定)。此外,也可以将该视频的视频流固定(半固定),在视频流中的多个帧期间,成为视频无变化的状态或变化少的状态。例如,发送视频的通信装置100对于作为图像保存的对象的视频,也可以在中断期间中视频编码时仅使用帧内信息编码(帧内编码)。
此外,发送视频的通信装置100也可以例如将转移到使上述视频稳定的模式的意旨显式地通知给接收视频的通信装置100。例如,发送视频的通信装置100进行指示信息的发送的情况或进行共用ID的赋予的情况下,发送视频的通信装置100也可以与上述指示信息的发送或共用ID的赋予一起来通知转移到使视频稳定的模式的意旨。此外,发送视频的通信装置100在从接收视频的通信装置100请求了转移到使视频稳定的模式的情况下,也可以转移到使该视频稳定的模式。
此外,例如,在接收视频的通信装置100中,也可以在等待进行视频的稳定后进行捕捉图像的截取处理,例如,也可以将通过纠错、重发控制等接收的视频的恢复(容错性)完成一定基准以上等作为触发,进行图像的截取及保存。此外,接收视频的通信装置100对于发送视频的通信装置100,也可以显式地请求向使视频稳定的模式转移。例如,在接收视频的通信装置100进行指示信息的发送情况或进行共用ID的赋予的情况下,对于发送视频的通信装置100,接收视频的通信装置100也可以与上述指示信息的发送或共用ID的赋予一起通知请求向使视频稳定的模式的转移的意旨。
(各通信装置中的图像偏差的抑制)
此外,各通信装置100从视频中单独地截取捕捉图像,所以例如因通信的延迟时间或处理延迟时间等因素,有可能在各通信装置100中保存捕捉图像的时刻上产生偏差(特别地,在被输入了图像保存指示的通信装置100中保存图像的时刻和接收了指示信息的通信装置100中保存图像的时刻之间的偏差(差异))、或有可能产生各地点中保存的图像的质量(例如,图像分辨率)上的偏差(差异)。在能够确保充分的通信频带的情况下,必要的信息传输所需要的时间少,产生这样的图像的时间性偏差或质量的偏差的可能性小,但在通信频带下降,或通信路径中的数据错误增加时,内容数据的传输上花费时间,或产生传输造成的内容数据的质量劣化,所以有在各通信装置100中截取的图像中包含的图像内容的差异增大的趋势。
考虑发生这样的情况的可能性,也可以设置所有的通信装置100能够保存偏差少的图像的机制。作为这样的机制,例如,如上述,进行通信或视频的稳定化是有用的。在各地点进行图像的保存时,通过发送视频的通信装置100转移到使视频稳定的模式,从而能够将质量稳定的视频或随时间的变化(偏差)少的视频提供给其他通信装置100。
此外,作为所有的通信装置100能够保存偏差少的图像的机制,例如,也可以规定从视频中截取图像的定时。通过规定从视频中截取图像的定时,各通信装置100可保存时间上偏差少的图像(或无偏差的图像)。
从视频中截取图像的定时的规定及该定时的通知,与上述共用ID的赋予同样,可通过任意的通信装置、或另外设置的定时信息管理装置等来执行。即,例如,从视频中截取图像的定时的规定及该定时的通知,也可以通过被用户输入了图像保存指示的通信装置、发送视频的通信装置、提供了规定定时信息的权限的定时信息管理装置(可通过通信装置中的1台、或另外设置的通信装置来实现)来执行。此外,也可以将规定从视频中截取图像的定时及通知该定时的装置设为与赋予共用ID的装置相同。
此外,从视频中截取图像的定时的规定及其通知,只要在各通信装置100进行截取图像的处理之前(即,先于从视频中截取图像的定时),就可以在任意的定时进行。即,从视频中截取图像的定时信息,需要在各通信装置100中进行从视频中截取图像的处理之前就通知,但只要在进行从视频中截取图像的处理之前,该通知定时就不被特别地限定。
此外,作为从视频中截取图像的定时信息,也可以使用从视频中截取图像的时刻(系统内的共用的时刻)、确定用于获取要保存的捕捉图像的视频流的帧的帧号或时戳、其他视频流内所包含的可定时识别信息等。例如,被通知了从视频中截取图像的定时信息的各通信装置100(通知了该定时信息的通信装置100也同样)基于该定时信息,进行图像的截取处理或保存处理。在作为从视频中截取图像的定时信息规定了时刻的情况下,可将各通信装置100中保存的图像的偏差抑制到传输延迟时间左右,此外,对于在发送视频的通信装置100中截取图像的时刻,通过将在接收视频的通信装置100中截取图像的时刻延迟相当于传输延迟时间,并且还考虑视频信息的解码的处理延迟等,可进一步减小偏差。
另一方面,在规定了确定视频流的帧的信息作为从视频中截取图像的定时信息的情况下,各通信装置100可从同一帧中截取图像,在各通信装置100中保存无时间偏差的图像。
此外,发送视频的通信装置100与从视频中截取图像的该定时信息一致,转移到使视频稳定的模式,可以将与图像截取定时匹配而质量稳定的视频提供给其他通信装置100。
此外,在规定从视频中截取图像的定时信息的装置与进行共用ID的赋予的装置是同一装置的情况下,作为对要保存的捕捉图像应赋予的共用ID,也可以使用从视频中截取图像的定时信息、或包含从视频中截取图像的定时信息的信息(例如,作为共用ID,也可以使用‘图像名+帧号’、‘图像名+获取时戳’、‘时:分:秒’)等)。由此,可同时进行共用ID的赋予和从视频中截取图像的定时信息的通知。
此外,特别地,在规定从视频中截取图像的定时信息的装置与发送作为图像保存的对象的视频的通信装置100是同一装置的情况下,作为对要保存的图像应赋予的共用ID,使用确定视频流的帧的信息,并且容易选择性地提高该帧(根据确定帧的信息而被识别的帧)的质量(例如,图像分辨率)。由此,在接收视频的通信装置100中,能够可靠地保存高质量并且无时间性偏差的包含同一图像内容的捕捉图像。此外,在规定从视频中截取图像的定时信息的装置与发送图像保存的对象的视频的通信装置100是同一装置的情况下,例如,也可以与转移到使视频稳定的模式的通知一起来通知从视频中截取图像的定时信息。
(产生了图像的偏差的情况下的处理)
此外,在通信装置100保存了偏差大的图像的情况(保存了未包含同一图像内容的捕捉图像的情况)、在不能接收指示信息的情况、图像的截取处理不能正常地执行而不能进行捕捉图像的保存情况等、在至少1台通信装置100中,包含同一图像内容的捕捉图像的保存上失败的情况下,也可以对本通信装置100重新设置进行图像的再获取处理的机构。
判断是否保存了偏差大的图像,例如,用户可以进行视觉识别,或者在通信不十分稳定的状态下进行了图像的保存的情况、检测出一定数的通信路径上的错误、解码时的错误的情况、从视频中截取图像的定时发生偏差的情况(例如,根据完成确认或以后的消息交换,确认作为捕捉图像保存的该视频的帧号等)下,也可以判断为保存了偏差大的图像。此外,在不能接收指示信息的情况(根据完成确认或以后的任意的消息交换,确认由其他通信装置100进行了捕捉图像的保存)或不能正常地执行图像的截取处理而在图像的保存上失败的情况下,图像本身未被保存,所以显然能够判断为在包含同一图像内容的图像的保存上失败。
在包含同一图像内容的图像的保存上失败的情况下,例如,可以对于图像的保存上失败的通信装置100的用户、发送了指示信息的通信装置100的用户通知图像保存的失败,或也可以自动地执行图像再获取的处理。
图像再获取的方法,例如,可以将从视频中保存图像的处理再次执行(即,再进行一次相同的处理),或也可以从在图像的保存上获得成功的其他通信装置100(例如,发送该视频的通信装置100)获取捕捉图像。
此外,在执行图像截取处理前,例如在预测不改善恶劣的通信环境就不能获取包含同一图像内容的捕捉图像的情况下,也可以对于其他的任意的通信装置100预先请求捕捉图像的代理获取,从该其他的任意的通信装置100分配捕捉图像的副本(copy)。
(捕捉图像的画面显示)
此外,在任意的通信装置100中,在再次参照捕捉图像的情况下,也可以在所有的通信装置100中,显示包含同一图像内容的捕捉图像。以下,参照图5,说明在本发明技术的一方式中,从用户输入了图像显示指示的情况下的图像显示动作的一例。图5是表示在本发明技术的一方式中,从用户输入了图像显示指示的情况下的图像显示动作的一例的时序图。再有,图5中,图示了在由3台通信装置100构成的系统(例如,图1所图示的系统)中,通过从用户输入图像显示指示的通信装置(以下,记载为通信装置100D)和其他通信装置(以下,记载为通信装置100E、100F)执行的处理一例。
在图5中,也与图3及图4同样,以在多个通信装置100间经常进行至少包含视频信息的内容数据的发送接收的状态为前提(步骤S2000)。在多个通信装置100间进行内容数据的发送接收的状态下,在某一通信装置100(通信装置100D)中,通过用户输入了表示与选择的某个捕捉图像一起显示该捕捉图像的图像显示指示的情况下(步骤S2001),通信装置100D中,由指示信息生成单元107生成包含了指示显示选择的捕捉图像的图像显示指示的指示信息(步骤S2002)。
此外,通信装置100D在生成指示信息时,例如,将确定与选择的捕捉图像相关联的捕捉图像的信息(上述的共用ID等)插入在指示信息中。
而且,通信装置100D将步骤S2002中生成的指示信息作为指示捕捉图像的显示的图像显示指示发送到其他通信装置100(通信装置100E、100F)(步骤S2003)。再有,指示信息的发送方法是任意的,通信装置100D可以通过单播、组播、或广播等将指示信息发送到通信装置100E、100F。
此外,通信装置100D与步骤S2002及S2003中的指示信息的生成及发送并行,在步骤S2001中基于由用户输入的图像显示指示,在通信装置100D自身中,也开始将选择的捕捉图像显示在显示画面上的处理。通信装置100D通过捕捉图像读出单元110,从捕捉图像保持单元109读出对应的捕捉图像,例如,与内容数据接收单元106复原及输出的视频信息一起,对通过信息输出接口102连接的监视器300等的显示装置进行输出及显示(步骤S2004)。
另一方面,其他通信装置100(通信装置100E、100F)接收从通信装置100D发送的指示信息后,基于接收的指示信息,从本装置的捕捉图像保持单元109读出与通信装置100D选择的捕捉图像对应的捕捉图像(例如,根据确定捕捉图像的信息所识别的捕捉图像),显示在监视器300等的显示装置上(步骤S2005、S2006)。
再有,在各通信装置100中进行捕捉图像的显示时,例如也可以变更画面显示模式,在内容数据接收单元106中将其他的视频和捕捉图像进行合成,或变更画面结构。
(GUI)
接着,说明本发明技术中的通信装置100的GUI的一例。图6是表示本发明技术的一方式的通信装置100的GUI的一例的图。
在图6所图示的显示的一例中,图示了显示从各通信装置100接收的内容数据的视频信息的视频信息显示区域600(画面上部)和使用了缩略图图标(缩小了大小后的图像)的捕捉图像显示区域610(画面下部)。图6中,作为一例子,图示通常的通信中的显示画面,例如视频信息显示区域600中规定的通信对方(通信对方A)的视频被特写在主显示区域(视频信息显示区域600的左侧)中(也可以被全画面显示),此外,自身的视频及其他的通信对方(通信对方B)的视频在副显示区域(视频信息显示区域600的右侧)中被映出。再有,也可以有分别以任意的组合或大小来配置来自各地点(各通信装置100)的视频、自身的视频、其他资料视频或另一照相机的视频等的多个画面显示模式。
此外,也可以具有在画面的一部分(沿上下左右的边缘的带状的区域等),将保存的捕捉图像的缩略图图标并排显示的画面显示模式。图6中,图示了在画面下侧的带状的区域中,通过具有捕捉图像显示区域610的画面显示模式所显示的状态。
例如,在捕捉图像显示区域610,例如为了用户能够直观地掌握时间序列的捕捉图像,也可以根据从左起顺序地保存了捕捉图像的顺序来显示缩略图图标。此外,也可以通过对各自的缩略图图标分配号并显示,将确定捕捉图像的信息(上述共用ID等)关联显示,或显示捕捉图像被保存的时刻(或从图像保存时的通信开始起的经过时间)等,提高用户的捕捉图像的识别及选择上便利性。
用户也可以通过与通信装置100协作的信息输入接口上连接的装置(遥控器、鼠标、键盘、面板等),选择要参照的捕捉图像的缩略图图标的同时,能够输入画面显示指示。在由用户选择捕捉图像的缩略图图标而输入了画面显示指示的情况下,例如,在显示画面(主显示区域、或全画面显示)上,使选择的捕捉图像显示在主显示区域上。
此外,如上述,可以将与选择的捕捉图像对应的捕捉图像(包含同一图像内容的捕捉图像)输出到其他通信装置100上连接的监视器300等的显示装置,此外,在其他通信装置100中选择了捕捉图像的情况下,也可以将对应的捕捉图像(包含同一图像内容的捕捉图像)输出到本通信装置100上连接的监视器300等的显示装置。
由此,作为结果,在通信中的所有地点中显示包含了以同一定时保存的同一图像内容的捕捉图像。例如,在会议等中,在对规定的议题再次进行议论的情况等中,可确认在该议论之前进行的问题解答等的资料(以前就被传输,作为捕捉图像保存的资料图像)的同时,进行高效率的再议论。此外,此时,各通信装置100单独地保持这样的资料等的捕捉图像,所以通过仅发送接收包含了图像显示指示的指示信息,在各地点就可参照捕捉图像,能够避免需要将拍摄资料等的视频再次连续传输而压迫通信业务量。
此外,使用显示画面的一部分,例如通过将使用字符或图标(例如,使静态照相机联想的标记)表示处于捕捉图像的记录中的信息、将表示进一步的其他的图像保存指示是不可能的意旨(新的图像保存指示被中断的意旨)的信息等通过中断期间来显示,从而对包含同一图像内容的捕捉图像,可抑制在其他地点同时被输入图像保存指示,并可使用户知道用于中断期间中的图像保存指示的输入为无效的意旨。
此外,在本发明技术的一方式中,在通信系统中,所述多个通信装置中的被输入了所述图像保存指示的通信装置也可生成包含所述图像保存指示的指示信息,向除了生成了所述指示信息的通信装置以外的所述多个通信装置发送所述指示信息。
根据该结构,被输入了图像保存指示的通信装置可对于构成通信系统的通信装置,进行包含同一图像内容的图像的图像保存指示。
此外,在本发明技术的一方式中,在通信系统中,在基于所述图像保存指示进行从所述视频信息中获取并保存所述图像的处理时,发送所述视频信息的通信装置也可以将通信模式变更为使视频稳定的模式。
根据该结构,各通信装置能够保存包含同一图像内容的图像,此外,能够保存更高清晰的图像(图像分辨率高的图像)。
此外,在本发明技术的一方式中,在通信系统中,在基于所述图像保存指示进行从所述视频信息中获取并保存所述图像的处理时,接收所述视频信息的通信装置也可以在确认了视频的稳定后保存所述图像。
根据该结构,各通信装置能够保存更清晰的图像(图像分辨率高的图像)。
此外,在本发明技术的一方式中,在通信系统中,也可以在基于所述图像保存指示进行从所述视频信息中获取并保存所述图像的处理时,设置将指示从所述视频信息中截取并保存图像的新的图像保存指示中断的中断期间。
根据该结构,可防止在多个地点同时产生包含同一图像内容的图像的保存指示。
此外,在本发明技术的一方式中,在通信系统中,也可以在所述多个通信装置的各个通信装置中对基于所述图像保存指示从所述视频信息中获取的所述图像,赋予确定所述图像的共用的信息。
根据该结构,可通过确定图像的共用的信息来识别及管理基于特定的图像保存指示在各个通信装置中保存的图像。
此外,在本发明技术的一方式中,在通信系统中,所述多个通信装置中的其中一个也可以生成确定所述图像的共用的信息,向除了生成了确定所述图像的共用的信息的通信装置的所述多个通信装置通知确定所述图像的共用的信息。
根据该结构,可设定具有赋予确定图像的共用的信息的权限的通信装置,在不同的地点不重复生成确定图像的共用的信息。
此外,在本发明技术的一方式中,在通信系统中,生成确定所述图像的共用的信息的通信装置也可以是发送所述视频信息的通信装置,或是被输入了所述图像保存指示的通信装置。
根据该结构,例如,能够在发送视频信息的通信装置发送信息时,或在被输入了图像保存指示的通信装置发送包含图像保存指示的指示信息时,可同时进行确定图像的共用的信息的赋予。
此外,在本发明技术的一方式中,在通信系统中,在所述多个通信装置中的一个中,与确定所述图像的共用的信息一起被输入了指示显示所述图像的图像显示指示的情况下,所述多个通信装置的各个通信装置也可以显示与确定所述图像的共用的信息相关联的所述图像。
根据该结构,被输入了图像显示指示的通信装置,可对于构成通信系统的通信装置,进行包含同一图像内容的图像的图像显示指示。
此外,在本发明技术的一方式中,在通信系统中,所述多个通信装置中的其中一个也可以生成规定了从所述视频信息中获取并保存所述图像的定时的定时信息,并向除了生成所述定时信息的通信装置以外的所述多个通信装置通知所述定时信息。
根据该结构,可降低各通信装置中的图像的获取处理上的时间的偏差。
此外,在本发明技术的一方式中,在通信系统中,生成所述定时信息的通信装置也可以是发送所述视频信息的通信装置,或是被输入了所述图像保存指示的通信装置。
根据该结构,例如,能够在发送视频信息的通信装置发送信息时,或在被输入了图像保存指示的通信装置发送包含图像保存指示的指示信息时,可同时通知图像的获取处理的定时信息。
此外,在本发明技术的一方式中,在通信系统中,所述定时信息也可以包含表示从所述视频信息中获取所述图像的时刻、或与视频信息相关联的定时的信息。
根据该结构,可明确地规定在各通信装置中进行图像的获取处理的定时。
此外,本发明技术的一方式是,由相互进行内容数据的发送及接收的多个通信装置构成的通信系统中的通信装置,可以包括:
内容数据发送单元,基于从该通信装置所连接的视频信息输出装置供给的发送视频信息,生成发送内容数据,并向构成所述通信系统的其他通信装置发送;
内容数据接收单元,基于从构成所述通信系统的所述其他通信装置接收的接收内容数据,复原并输出接收视频信息;以及
指示信息生成单元,基于在该通信装置中输入的图像保存指示、即指示从所述发送视频信息及所述接收视频信息中的特定的视频信息中获取并保存图像的所述图像保存指示,生成包含了指示从所述特定的视频信息中获取并保存图像的指示信息,对于构成所述通信系统的所述其他通信装置发送所述指示信息。
根据该结构,可抑制业务量,并且对于各通信装置指示实时地共享包含同一图像内容的图像。
此外,根据本发明技术的一方式,通信装置可以还包括:
指示信息解释单元,从构成所述通信系统的所述其他通信装置中的一个接收包含指示从所述发送视频信息及所述接收视频信息中的特定的视频信息中获取并保存图像的图像保存指示的指示信息;以及
图像保持单元,保持从所述特定的视频信息中获取的所述图像,
所述指示信息生成单元或所述指示信息解释单元
基于通过该通信装置发送中的所述发送视频信息的所述图像保存指示,对于所述内容数据发送单元指示从所述发送视频信息中获取所述图像并保存在所述图像保持单元中,
基于通过该通信装置接收中的所述接收视频信息的所述图像保存指示,对于所述内容数据接收单元指示从所述接收视频信息中获取所述图像并保存在所述图像保持单元中。
根据该结构,可抑制业务量,并且在各通信装置中,实时地共享包含相同的图像内容的图像。
此外,根据本发明技术的一方式,在通信装置中,在指示从所述发送视频信息中获取并保存所述图像的所述图像保存指示的情况下,也可以将通信模式变更为使所述发送视频信息的视频稳定的模式。
根据该结构,各通信装置能够保存包含同一图像内容的图像,此外,能够保存更清晰的图像(图像分辨率高的图像)。
此外,本发明技术的一方式中,在通信装置中,在指示从所述发送视频信息中获取并保存所述图像的所述图像保存指示的情况下,也可以在确认所述接收视频信息的视频的稳定后进行所述图像的保存。
根据该结构,各通信装置能够保存更清晰的图像(图像分辨率高的图像)。
此外,本发明技术的一方式中,在通信装置中,在基于所述图像保存指示从所述特定的视频信息中获取并保存所述图像时,也可以设置将指示从所述特定的视频信息中获取并保存图像的新的图像保存指示中断的中断期间。
根据该结构,可防止包含同一图像内容的图像的保存指示在多个地点同时产生。
此外,本发明技术的一方式中,在通信装置中,也可以使用对所述多个通信装置的各个通信装置所赋予的确定所述图像的共用的信息,管理所述图像。
根据该结构,可通过确定图像的共用的信息识别及管理基于特定的图像保存指示在各个通信装置中保存的图像。
此外,本发明技术的一方式中,在通信装置中,也可以生成确定所述图像的共用的信息,并通知给构成所述通信系统的所述其他通信装置。
根据该结构,可设定具有赋予确定图像的共用的信息的权限的通信装置,在不同的地点不重复生成确定图像的共用的信息。
此外,本发明技术的一方式中,在通信装置中,在指示从所述发送视频信息中获取并保存所述图像的所述图像保存指示的情况下,或在对于所述其他通信装置发送所述指示信息的情况下,也可以生成确定所述图像的共用的信息。
根据该结构,能够在发送视频信息的通信装置发送信息时,或在生成指示信息的通信装置发送信息时,可同时进行确定图像的共用的信息的赋予。
此外,本发明技术的一方式中,在通信装置中,在该通信装置中与确定所述图像的共用的信息一起被输入了指示显示所述图像的图像显示指示的情况下,或在从一个所述其他通信装置接收到包含所述图像显示指示的情况下,也可以显示与确定所述图像的共用的信息相关联的所述图像。
根据该结构,被输入了图像显示指示的通信装置可对于构成通信系统的通信装置,进行包含同一图像内容的图像的图像显示指示。
此外,本发明技术的一方式中,在通信装置中,也可以生成规定了从所述特定的视频信息中获取并保存所述图像的定时的定时信息,并通知给所述其他通信装置。
根据该结构,可降低各通信装置中的图像的获取处理上的时间的偏差。
此外,本发明技术的一方式中,在通信装置中,在指示从所述发送视频信息中获取并保存所述图像的所述图像保存指示的情况下,或在对于所述其他通信装置发送所述指示信息的情况下,也可以生成所述定时信息。
根据该结构,能够在发送视频信息的通信装置发送信息时,或在生成指示信息的通信装置发送信息时,可同时通知图像的获取处理的定时信息。
此外,本发明技术的一方式中,在通信装置中,所述定时信息也可以包含表示进行从所述视频信息中获取所述图像的时刻、或与视频信息相关联的定时的信息。
根据该结构,可明确地规定在各通信装置中进行图像的获取处理的定时。
此外,本发明技术的一方式是由多个通信装置构成的通信系统中的通信装置,是将内容数据发送到其他通信装置的通信装置,可以具有:
内容数据发送单元,基于从该通信装置所连接的视频信息输出装置供给的发送视频信息而生成所述内容数据,并向构成所述通信系统的所述其他通信装置发送;以及
指示信息生成单元,基于通过该通信装置输入的图像保存指示、即指示从所述发送视频信息中截取并保存图像的所述图像保存指示,生成包含了指示从所述发送视频信息中截取并保存图像的指示信息,对于构成所述通信系统的所述其他通信装置发送所述指示信息。
此外,本发明技术的一方式,可以在上述通信装置中,还具有保持从所述发送视频信息中截取出的所述图像的图像保持单元,
所述指示信息生成单元基于通过该通信装置发送中的所述发送视频信息的所述图像保存指示,对于所述内容数据发送单元指示从所述发送视频信息中截取所述图像并保存在所述图像保持单元中。
此外,本发明技术的一方式是,由多个通信装置构成的通信系统中的通信装置,是将内容数据发送到其他通信装置的通信装置,可以具有:
内容数据发送单元,基于从该通信装置所连接的视频信息输出装置供给的发送视频信息生成所述内容数据,并向构成所述通信系统的所述其他通信装置发送;以及
指示信息解释单元,从构成所述通信系统的所述其他通信装置的一个接收包含指示从所述发送视频信息中截取并保存图像的图像保存指示的指示信息。
此外,本发明技术的一方式,可以在上述通信装置中,还具有保持从所述发送视频信息中截取出的所述图像的图像保持单元,
所述指示信息解释单元基于通过该通信装置发送中的所述发送视频信息的所述图像保存指示,对于所述内容数据发送单元指示从所述发送视频信息中截取所述图像并保存在所述图像保持单元中。
此外,本发明技术的一方式是,由多个通信装置构成的通信系统中的通信装置,是从其他通信装置接收内容数据的通信装置,可以具有:
内容数据接收单元,基于从构成所述通信系统的所述其他通信装置接收的所述内容数据,复原并输出接收视频信息;以及
指示信息生成单元,基于通过该通信装置输入的图像保存指示、即指示从所述接收视频信息中截取并保存图像的所述图像保存指示,生成包含了指示从所述特定的视频信息中截取并保存图像的指示信息,对于构成所述通信系统的所述其他通信装置发送所述指示信息。
此外,本发明技术的一方式,能够在上述通信装置中,还具有保持从所述特定的视频信息中截取出的所述图像的图像保持单元,
所述指示信息生成单元基于通过该通信装置接收中的所述接收视频信息的所述图像保存指示,对于所述内容数据接收单元指示从所述接收视频信息中截取所述图像并保存在所述图像保持单元中。
此外,本发明技术的一方式是由多个通信装置构成的通信系统中的通信装置,是从其他通信装置接收内容数据的通信装置,可以具有:
内容数据接收单元,基于从构成所述通信系统的所述其他通信装置接收的所述内容数据,复原并输出接收视频信息;以及
指示信息解释单元,从构成所述通信系统的所述其他通信装置的一个中,接收包含指示从所述接收视频信息中截取并保存图像的图像保存指示的信息。
此外,本发明技术的一方式,可以在上述通信装置中,还具有:保持从所述特定的视频信息截取出的所述图像的图像保持单元,
所述指示信息解释单元能够基于通过该通信装置接收中的所述接收视频信息的所述图像保存指示,对于所述内容数据接收单元指示从所述接收视频信息中截取所述图像并保存在所述图像保持单元中。
再有,例如,上述本发明技术的各方式可适当组合。此外,本发明技术的一方式,除了通信系统、通信装置(通信装置),也可以通过通信装置执行的方法、用于使计算机执行该方法的程序、以及记录了该程序的记录介质等来实现。
此外,上述实施方式的说明中使用的各功能块,通常被作为集成电路LSI(Large Scale Integration;大规模集成电路)来实现。这些功能块既可以被单独地集成为单芯片,也可以包含一部分或全部地被集成为单芯片。虽然此处称为LSI,但根据集成程度,有时也被称为IC、系统LSI、超大LSI(Super LSI)、或特大LSI(Ultra LSI)。另外,实现集成电路化的方法不仅限于LSI,也可使用专用电路或通用处理器来实现。也可以使用可在LSI制造后编程的FPGA(Field Programmable Gate Array:现场可编程门阵列),或者可重构LSI内部的电路单元的连接和设定的可重构处理器。再者,随着半导体的技术进步或随之派生的其它技术的出现,如果出现能够替代LSI的集成电路化的新技术,当然可利用该新技术进行功能块的集成化。例如,存在着适用生物技术等的可能性。
工业实用性
根据本发明技术的一方式,在各通信装置中,可实时地共享包含相同的图像内容的图像,可广泛地适用进行至少包含视频信息的内容数据的发送或接收的传输技术、而且,使用通信装置在远程地点间实现会议的会议系统等。
Claims (24)
1.通信系统,由相互进行内容数据的发送接收的多个通信装置构成,
在所述多个通信装置中的一个被输入了指示从在该通信系统中进行发送接收的所述内容数据中所包含的视频信息中获取并保存图像的图像保存指示的情况下,所述多个通信装置的各个通信装置基于所述图像保存指示进行从所述视频信息中获取并保存图像的处理。
2.如权利要求1所述的通信系统,
所述多个通信装置中的被输入了所述图像保存指示的通信装置,生成包含所述图像保存指示的指示信息,向除了生成了所述指示信息的通信装置之外的所述多个通信装置发送所述指示信息。
3.如权利要求1所述的通信系统,
在基于所述图像保存指示进行从所述视频信息中获取并保存所述图像的处理时,发送所述视频信息的通信装置将通信模式变更为使视频稳定的模式。
4.如权利要求1所述的通信系统,
在基于所述图像保存指示进行从所述视频信息中获取并保存所述图像的处理时,接收所述视频信息的通信装置在确认了视频的稳定后进行所述图像的保存。
5.如权利要求1所述的通信系统,
在基于所述图像保存指示进行从所述视频信息中获取并保存所述图像的处理时,设置将指示从所述视频信息中获取并保存图像的新的图像保存指示中断的中断期间。
6.如权利要求1所述的通信系统,
对在所述多个通信装置的各个通信装置中基于所述图像保存指示从所述视频信息中获取的所述图像,赋予确定所述图像的共用的信息。
7.如权利要求6所述的通信系统,
所述多个通信装置中的其中一个生成确定所述图像的共用的信息,向除了生成了确定所述图像的共用的信息的通信装置以外的所述多个通信装置通知确定所述图像的共用的信息。
8.如权利要求7所述的通信系统,
生成确定所述图像的共用的信息的通信装置是发送所述视频信息的通信装置,或是被输入了所述图像保存指示的通信装置。
9.如权利要求6所述的通信系统,
在所述多个通信装置中的一个中,与确定所述图像的共用的信息一起被输入了指示显示所述图像的图像显示指示的情况下,所述多个通信装置的各个通信装置显示与确定所述图像的共用的信息相关联的所述图像。
10.如权利要求1所述的通信系统,
所述多个通信装置中的其中一个生成规定了从所述视频信息获取并保存所述图像的定时的定时信息,并向除了生成了所述定时信息的通信装置以外的所述多个通信装置通知所述定时信息。
11.如权利要求10所述的通信系统,
生成所述定时信息的通信装置是发送所述视频信息的通信装置,或是被输入了所述图像保存指示的通信装置。
12.如权利要求10所述的通信系统,
所述定时信息包含从所述视频信息中获取所述图像的时刻、或表示与所述视频信息相关联的定时的信息。
13.通信装置,是由相互进行内容数据的发送及接收的多个通信装置构成的通信系统中的通信装置,具有:
内容数据发送单元,基于由该通信装置所连接的视频信息输出装置供给的发送视频信息生成发送内容数据,并发送到构成所述通信系统的其他通信装置;
内容数据接收单元,基于从构成所述通信系统的所述其他通信装置接收的接收内容数据,复原并输出接收视频信息;以及
指示信息生成单元,基于该通信装置中所输入的图像保存指示、即指示从所述发送视频信息及所述接收视频信息中的特定的视频信息中获取并保存图像的所述图像保存指示,生成包含了指示从所述特定的视频信息中获取并保存图像的指示信息,对于构成所述通信系统的所述其他通信装置发送所述指示信息。
14.如权利要求13所述的通信装置,还具有:
指示信息解释单元,从构成所述通信系统的所述其他通信装置的一个中,接收包含指示从所述发送视频信息及所述接收视频信息中的特定的视频信息中获取并保存图像的图像保存指示的指示信息;以及
图像保持单元,保持从所述特定的视频信息中获取的所述图像,
所述指示信息生成单元或所述指示信息解释单元
基于通过该通信装置发送中的所述发送视频信息的所述图像保存指示,对于所述内容数据发送单元指示从所述发送视频信息中获取所述图像并保持在所述图像保持单元中,
基于通过该通信装置接收中的所述接收视频信息的所述图像保存指示,对于所述内容数据接收单元指示从所述接收视频信息中获取所述图像并保存在所述图像保持单元中。
15.如权利要求13所述的通信装置,
在指示从所述发送视频信息中获取并保存所述图像的所述图像保存指示的情况下,将通信模式变更为使所述发送视频信息的视频稳定的模式。
16.如权利要求13所述的通信装置,
在指示从所述发送视频信息中获取并保存所述图像的所述图像保存指示的情况下,在确认了所述接收视频信息的视频的稳定后保存所述图像。
17.如权利要求13所述的通信装置,
在基于所述图像保存指示从所述特定的视频信息中获取并保存所述图像时,设置将指示从所述特定的视频信息中获取并保存图像的新的图像保存指示中断的中断期间。
18.如权利要求13所述的通信装置,
使用对所述多个通信装置的各个通信装置赋予的确定所述图像的共用的信息,管理所述图像。
19.如权利要求18所述的通信装置,
生成确定所述图像的共用的信息,并通知给构成所述通信系统的所述其他通信装置。
20.如权利要求19所述的通信装置,
在指示从所述发送视频信息中获取并保存所述图像的所述图像保存指示的情况下,或在对于所述其他通信装置发送所述指示信息的情况下,生成确定所述图像的共用的信息。
21.如权利要求18所述的通信装置,
在该通信装置中与确定所述图像的共用的信息一起被输入了指示显示所述图像的图像显示指示的情况下,或在从所述其他通信装置中的一个接收到包含所述图像显示指示的情况下,显示与确定所述图像的共用的信息相关联的所述图像。
22.如权利要求13所述的通信装置,
生成规定了从所述特定的视频信息中获取并保存所述图像的定时的定时信息,并通知给所述其他通信装置。
23.如权利要求22所述的通信装置,
在指示从所述发送视频信息中获取并保存所述图像的所述图像保存指示的情况下,或对于所述其他通信装置发送所述指示信息的情况下,生成所述定时信息。
24.如权利要求22所述的通信装置,
所述定时信息包含进行从所述特定的视频信息中获取所述图像的时刻、或表示与所述特定的视频信息相关联的定时的信息。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012129534 | 2012-06-07 | ||
JP2012-129534 | 2012-06-07 | ||
PCT/JP2013/002739 WO2013183214A1 (ja) | 2012-06-07 | 2013-04-23 | 通信装置及び通信システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103765872A true CN103765872A (zh) | 2014-04-30 |
CN103765872B CN103765872B (zh) | 2016-11-30 |
Family
ID=
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109819306A (zh) * | 2018-12-29 | 2019-05-28 | 华为技术有限公司 | 一种媒体文件裁剪的方法、电子设备和服务器 |
CN115136589A (zh) * | 2021-01-29 | 2022-09-30 | 株式会社特拉鲁 | 用于在远程地点之间进行交流的终端装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109819306A (zh) * | 2018-12-29 | 2019-05-28 | 华为技术有限公司 | 一种媒体文件裁剪的方法、电子设备和服务器 |
CN115136589A (zh) * | 2021-01-29 | 2022-09-30 | 株式会社特拉鲁 | 用于在远程地点之间进行交流的终端装置 |
Also Published As
Publication number | Publication date |
---|---|
US9154738B2 (en) | 2015-10-06 |
JPWO2013183214A1 (ja) | 2016-01-28 |
WO2013183214A1 (ja) | 2013-12-12 |
US20140160226A1 (en) | 2014-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2017254981B2 (en) | Reduced latency server-mediated audio-video communication | |
CA3111291C (en) | Synchronous video content collaboration across multiple clients in a distributed collaboration system | |
US10511551B2 (en) | Methods and systems for facilitating virtual collaboration | |
CN110326290A (zh) | 实况内容和录制的内容的同时观看 | |
EP3131257B1 (en) | Program, information processing apparatus, and information processing system for use in an electronic conference system | |
CN106572139B (zh) | 多终端控制方法、终端、服务器和系统 | |
JP2007282072A (ja) | 電子会議システム、電子会議支援プログラム、電子会議支援方法、電子会議システムにおける情報端末装置 | |
JP2014219807A (ja) | 情報処理プログラムおよび情報処理装置、ならびに、表示制御プログラム | |
WO2012149796A1 (zh) | 视频会议中视频资源管理的方法及装置 | |
CN102724138A (zh) | 即时通信中的信息共享方法及装置 | |
CN104519303A (zh) | 多终端会议通信处理方法及装置 | |
US9392191B2 (en) | Method and device for processing video conference | |
CN103561106A (zh) | 远程教学及会议系统和方法 | |
JP5127895B2 (ja) | 記録装置および記録方法 | |
KR101764580B1 (ko) | Qr코드를 이용하여 현장 참여 인원에게 강의 발표를 제공하는 강의 발표 제공 시스템 | |
CN104380624A (zh) | 在多个设备之间发送内容和用户的交互的方法 | |
JP2013045144A (ja) | 情報処理装置、情報処理システム情報処理方法及びプログラム | |
WO2013183214A1 (ja) | 通信装置及び通信システム | |
JP5030729B2 (ja) | オブジェクトの編集方法、データ共有システムおよび電子遠隔会議システム | |
CN102016816A (zh) | 事件之间的消息传送 | |
JP5310427B2 (ja) | 通信端末装置、通信制御方法、及び通信制御プログラム、 | |
US10255024B2 (en) | Method and system for displaying a sequence of images | |
CN103765872B (zh) | 通信装置及通信系统 | |
JP2012156726A (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2018001053A1 (zh) | 一种会议提醒方法、视频会议终端、平台及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20160125 Address after: Osaka Japan Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd. Address before: Osaka Japan Applicant before: Matsushita Electric Industrial Co.,Ltd. |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161130 Termination date: 20200423 |
|
CF01 | Termination of patent right due to non-payment of annual fee |