CN110495183A - 信息处理装置,信息处理方法及程序 - Google Patents

信息处理装置,信息处理方法及程序 Download PDF

Info

Publication number
CN110495183A
CN110495183A CN201880024450.0A CN201880024450A CN110495183A CN 110495183 A CN110495183 A CN 110495183A CN 201880024450 A CN201880024450 A CN 201880024450A CN 110495183 A CN110495183 A CN 110495183A
Authority
CN
China
Prior art keywords
data
group
information
processing unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880024450.0A
Other languages
English (en)
Other versions
CN110495183B (zh
Inventor
西野胜章
松下奖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110495183A publication Critical patent/CN110495183A/zh
Application granted granted Critical
Publication of CN110495183B publication Critical patent/CN110495183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4882Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407Monitoring of transmitted content, e.g. distribution time, number of downloads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4381Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425Monitoring of client processing errors or hardware failure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Selective Calling Equipment (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

该信息处理装置生成指示网络连接的仪器的通信状况的显示信息,并且使得有可能容易地知道发生错误的位置、错误内容、错误的影响范围等。该信息处理装置生成使得能够识别由多条发送数据构成的发送数据组和由多条接收数据构成的接收数据组之间的通信数据的显示信息。该信息处理装置执行显示,使得可能识别每组的多条通信数据中的每条数据的通信是在进行还是停止。此外,在发生错误时,该信息处理装置在连接线上显示包括错误级别或内容的警告信息。

Description

信息处理装置,信息处理方法及程序
技术领域
本公开涉及信息处理装置、信息处理方法及程序。更具体地,本公开涉及使得有可能知道用于视频和声音数据的发送和接收系统中的每个发送或接收仪器的通信状况和错误状况的信息处理装置、信息处理方法和程序。
背景技术
例如,在广播电台、创作诸如节目之类的视听媒体的制作公司等,使用执行视频和声音的记录、回放、累积、编辑等的大量(几个到几千个)视听数据处理装置。
大量的这些视听数据处理装置被用于生成和编辑视听数据,诸如各种质量的视频(例如4K图像、HD图像等的视频),以及各种类型的声音(例如,诸如日语或英语之类的各种语言、立体声信号或环绕声信号)。这些数据片段在各个仪器之间被发送和接收,并记录在介质中或输出到外部部件。
以这种方式,在广播站等处,使用执行视频和声音的记录、回放、累积、编辑等的大量视听数据处理装置来执行数据处理。
在使用大量仪器来执行数据处理的环境中,在各个仪器上执行各种处理,并且在各个仪器之间执行各种数据通信方式。
在任何装置上发生错误或在这种情况下发生通信错误都会导致发生在每个仪器上不能执行数据处理的问题或发生其它问题。
例如,这种问题的发生可能会发展成节目不能在广播电台等正常发出的重要问题,或者其它问题。
为了防止发生这种问题,常常在广播电台等处使用错误监视系统。
公开错误监视系统的常规技术包括例如PTL 1(JPH10-229508A)。
这个PTL 1公开了一种配置,其中作为图标的多个仪器显示在错误监视装置的显示单元上并且,如果在特定仪器中发生错误,那么执行该特定仪器的转换图标和显示转换后的图标的显示控制,以便可以容易地识别发生错误的仪器。
但是,在这个PTL 1中公开的配置中存在的问题在于,虽然有可能识别发生错误的仪器,但是例如,如果发生错误的仪器正在输入或输出大量信号(视频A,B,C......,声音X,Y,Z等),那么难以知道哪个输入/输出信号处正在发生错误、哪个输入/输出信号受错误影响等等。
即,虽然上面解释的PTL 1中公开的配置允许各仪器的错误分类,但它不是使得有可能容易地各个通信数据检查在仪器之间发送和接收的数据的错误的配置。因而,存在的问题是,在发生错误时,变得有必要通过使用另一个错误诊断仪器、错误分析应用等来识别错误的位置,并且需要一定的时间长度来识别错误的原因并在发生错误时从错误中恢复。
[引用列表]
[专利文献]
[PTL 1]
JPH10-229508A
发明内容
[技术问题]
本发明是鉴于例如上面解释的问题而进行的,其目的在于提供信息处理装置、信息处理方法及程序,使得能够通过监视在其中通过网络连接对诸如视频和声音之类的数据执行处理的大量仪器并且在其中的各个仪器之间执行通信的系统中发生的错误来迅速识别每条通信数据中的错误的存在或不存在以及发生错误的位置。
[问题的解决方案]
本公开的第一方面提供了一种信息处理装置,包括:数据处理单元,其生成使得能够识别包括多条发送数据的发送数据组和包括多条接收数据的接收数据组之间的组间通信的数据的显示信息。
此外,本公开的第二方面提供了一种在信息处理装置处执行的信息处理方法,该信息处理方法包括:由信息处理装置的数据处理单元生成使得能够识别包括多条发送数据的发送数据组和包括多条接收数据的接收数据组之间的组间通信的数据的显示信息。
此外,本公开的第三方面提供了一种程序,该程序使得在信息处理装置处执行信息处理,该程序包括:使得信息处理装置的数据处理单元生成使得能够识别包括多条发送数据的发送数据组和包括多条接收数据的接收数据组之间的组间通信的数据的显示信息。
要注意的是,例如,本公开中的程序是可以在存储介质或通信介质中提供的程序,其以计算机可读格式向可以执行各种程序代码的信息处理装置或计算机系统提供各种程序代码。通过以计算机可读格式提供这种程序,可以在信息处理装置或计算机系统上实现与程序对应的处理。
通过基于下面提到的本公开的实施例和附图的详细说明,本公开的又一个目的、特征或优点将变得显而易见。要注意的是,本说明书中的系统是多个装置的逻辑集合配置并且不限于其中具有单独配置的装置在单个壳体中的配置。
[发明的有益效果]
根据本公开的一个实施例的配置,变得有可能向用户(监视器)提供指示网络连接的仪器的通信状况的显示信息,并且使得有可能容易地知道发生错误的位置、错误内容、错误的影响范围等。
具体而言,生成使得能够识别由多条发送数据构成的发送数据组和由多条接收数据构成的接收数据组之间的组间通信的数据的显示信息。信息被显示,使得变得有可能识别每组的多条通信数据中的每条数据的通信是否正在进行或停止。此外,在发生错误时,在连接线上显示包括错误级别或内容的警告信息。
利用这种配置,变得有可能向用户(监视器)提供指示网络连接的仪器的通信状况的显示信息,并且使得有可能容易地知道发生错误的位置、错误内容、错误的影响范围等。
要注意的是,本说明书中描述的优点仅作为示例说明,而不是限制性的。还有其它优点。
附图说明
图1是用于解释信息处理系统的示例性配置的图。
图2是用于解释信息处理装置(系统监视装置)的示例性配置的图。
图3是用于解释信息处理系统的示例性配置的图。
图4是用于解释发送数据组的示例性设置的图。
图5是用于解释发送数据组的示例性设置的图。
图6是用于解释接收数据组的示例性设置的图。
图7是用于解释接收数据组的示例性设置的图。
图8是用于解释发送数据组和接收数据组之间的通信的示例性设置的图。
图9是用于解释信息处理装置(系统监视装置)的示例性显示屏的图。
图10是用于解释组选择部分的示例性显示的图。
图11是用于解释连接信息显示部分的示例性显示的图。
图12是用于解释连接信息显示部分的示例性显示的图。
图13是用于解释连接信息显示部分的显示数据的示例性细节的图。
图14是用于解释连接信息显示部分的显示数据的示例性细节的图。
图15是用于解释选择在细节信息显示部分中显示的细节信息的处理的图。
图16是用于解释细节信息显示部分的显示数据的示例性细节的图。
图17是用于解释细节信息显示部分的显示数据的示例性细节的图。
图18是用于解释细节信息显示部分的显示数据的示例性细节的图。
图19是用于解释信息处理装置(系统监视装置)的示例性显示信息和显示信息转变处理的图。
图20是用于解释信息处理装置(系统监视装置)的示例性显示信息和显示信息转变处理的图。
图21是用于解释应用于本公开的处理的报告处理设备的示例性硬件配置的图。
图22是示意性地图示手术室系统的整体配置的图。
图23是图示中央操纵面板上的操纵屏幕的示例性显示的图。
图24是图示向其应用手术室系统的外科手术如何出现的示例的图。
图25是图示图24中所示的相机头和CCU的示例性功能配置的框图。
具体实施方式
在下文中,参考附图解释本公开的信息处理装置、信息处理方法及程序的细节。要注意的是,根据以下项目给出解释。
1.关于信息处理系统的示例性配置
2.关于信息处理装置(系统监视装置)的示例性配置
3.关于将被用作由信息处理装置生成的显示信息的显示单元的组
4.关于由信息处理装置生成的显示信息(UI)
4-1.关于组选择部分的显示信息的细节信息
4-2.关于连接信息显示部分的显示信息的细节
4-3.关于细节信息显示部分的显示信息的细节
5.关于信息处理装置(系统监视装置)的显示信息的示例性转变
6.关于信息处理装置的示例性配置
7.应用示例
8.本公开的配置的综述
[1.关于信息处理系统的示例性配置]
首先,参考图1解释可以向其应用本公开的处理的信息处理系统的示例性配置。
图1是图示可以向其应用本公开的处理的信息处理系统10的一个示例性配置的图。
图1中所示的信息处理系统10例如设置在广播站、创建诸如节目之类的视听媒体的制作公司等处。
信息处理系统10是这样的系统,其中作为执行视频和声音的获取、编辑、记录、重放、累积等的数据处理装置的大量仪器40a至40p连接到网络30。
例如,大量仪器40a至40p被用于生成和编辑视频和声音数据,诸如各种质量的视频(例如4K图像、HD图像等的视频),以及各种类型的声音(例如,日语、英语等的声音、立体声或环绕声)。这些数据片段在各个仪器之间被发送和接收,并且经受诸如在介质中记录或输出到外部部件之类的处理。
图1中所示的信息处理装置(系统监视装置)20监视构成信息处理系统10的各个仪器(即,作为数据处理装置的仪器40a至40p)中的数据处理状况,以及各个仪器之间的通信状况。
具体而言,例如,在每个仪器处发生的错误或者在仪器间通信中的通信错误的发生状况被显示在显示单元上。
下面详细解释其具体示例。
网络30例如是IP(互联网协议)网络。每个仪器优选地具有有线连接设置。
但是,应当注意的是,可以存在无线连接仪器。
在通过IP网络的数据发送和接收中,各种类型的数据(图像、声音等)存储在各个分组中,并经由通信电缆(LAN电缆)发送和接收。
由于在利用IP网络的通信中诸如视频和声音之类的各种类型的数据以时分方式通过一根电缆被发送,因此即使查看物理布线配置,也难以对从哪个仪器向哪个仪器发送和接收什么类型的数据进行分类。
经由网络30发送和接收的数据包括许多类型的数据,诸如4K视频、HD视频、SD视频、日语声音、英语声音、单声道声音和立体声,并且这些各种类型的数据在图1中所示的网络连接的仪器40a至40p之间被相互发送和接收。
要注意的是,网络连接的仪器40a至40p包括图1中所示的各种仪器,例如,诸如相机、麦克风、记录器、播放器、监视器和编辑装置之类的仪器,并且除了它们之外,还包括各种广播仪器、用于广播的仪器、用于在广播站使用的系统、用于广播的相机、用于广播的麦克风等。
图1中所示的信息处理装置(系统监视装置)20在显示单元上显示显示信息,即,用户界面(UI),其使得有可能容易且准确地知道大量这样的仪器处的数据处理状况或者各个仪器之间的数据通信状况。
例如,用户(监视器)可以通过查看信息处理装置(系统监视装置)20的UI来立即确定连接到网络的哪个仪器中正在发生错误、哪个仪器间通信中正在发生错误等。
此外,用户还可以立即确定一个错误具有的影响范围,其指示哪个仪器受到这一个错误的影响。例如,用户还可以立即确定受到这一个错误影响的一组仪器等。
下面提到由信息处理装置(系统监视装置)20生成的显示信息(UI)的具体示例。
[2.关于信息处理装置(系统监视装置)的示例性配置]
接下来,参考图2解释图1中所示的信息处理装置(系统监视装置)20的示例性配置。
如上面已经解释的,信息处理装置(系统监视装置)20监视构成图1中所示的信息处理系统10的各个仪器(即,作为视听数据处理装置的仪器40a至40p)的数据处理状况,以及各个仪器之间的通信状况。
具体而言,例如,在每个仪器处发生的错误或者在仪器间通信中的通信错误的发生状况被显示在显示单元上。
如图2中所示,信息处理装置20具有数据处理单元50、输入单元51、输出单元52、存储单元53和通信单元54。
数据处理单元50具有错误信息分析单元56、连接信息分析单元57和输出信息生成单元58。
信息处理装置20经由通信单元54从每个网络连接的仪器接收指示每个仪器的状态的信息(仪器信息)。
例如,仪器信息包括关于每个仪器的通信信息、错误信息等。
通信信息包括关于正在被执行、停止或保留的通信的实例的诸如发送源信息、发送目的地信息或通信数据类型(4K视频、日语声音等)的信息。
要注意的是,在一种可能的配置中,可以与信息处理装置20分开安装累积关于这些各个仪器的通信信息或错误信息的专用装置。
例如,如图3中所示,与信息处理装置20分离的系统控制器21连接到网络30,并且系统控制器21从每个网络连接的仪器获取关于每个仪器的仪器信息。信息处理装置20共同获取系统控制器21获取的信息。
可以采用这种配置。
解释图2中所示的信息处理装置20的配置和处理。
输入单元51由诸如键盘和鼠标之类的输入装置构成。要注意的是,如果输出单元52被配置为触摸面板形式的显示单元,那么输出单元52还用作输入单元。
输出单元52由显示单元、声音输出单元等构成。显示单元显示基于关于网络连接的仪器的仪器信息的信息,例如,包括关于仪器的错误信息、连接的仪器的信息等的信息。
通信单元54经由网络30与图1和图3中所示的网络连接的仪器40或图3中所示的控制器21通信,并获取关于每个仪器的仪器信息等。
数据处理单元50具有错误信息分析单元56、连接信息分析单元57和输出信息生成单元58。
错误信息分析单元56获取并分析网络连接的仪器的错误状态。要注意的是,错误既包括每个仪器处的数据处理错误又包括仪器间通信错误。
连接信息分析单元57获取并分析关于正在各个网络连接的仪器之间被执行、停止或保留的通信的每个实例的信息,诸如发送源信息、发送目的地信息和通信数据类型(4K视频、日语声音等)。
由错误信息分析单元56和连接信息分析单元57获取并分析的信息被输出到输出信息生成单元58。
输出信息生成单元58基于从错误信息分析单元56和连接信息分析单元57输入的信息生成用于呈现给用户的信息(UI信息),并在显示单元上显示该信息。
[3.关于用作由信息处理装置生成的显示信息的显示单元的组]
接下来,解释要用作由信息处理装置20生成的显示信息的显示单元的组。
经由网络30,图1中所示的网络连接的仪器40执行各种类型的视频数据(诸如4K视频、HD视频和SD视频)、各种语言(诸如日语声音和英语声音)以及各种类型的声音数据(诸如单声道声音、立体声和环绕声)的发送和接收。
仪器间通信数据不仅包括上面解释的数据类型,而且还包括例如向其应用了不同编码技术(编解码器)的多种类型的不同编码的数据,而且,还包括对其应用了不同编解码器或格式的各种类型的数据,诸如具有不同颜色深度等的不同格式的数据。
信息处理装置20设置其中逻辑地组合这么多不同类型的发送/接收数据的组,并生成各组显示信息。
例如,组包括以下组。
发送数据组(SG:源组)
接收数据组(DG:目的地组)
例如,这些组是可以被集体控制的数据集。
例如,可以被集体执行发送和接收控制(诸如发送开始/结束处理或接收开始/结束处理)的数据集被设置为一组。
具体而言,例如,将作为一个特定相机的捕获图像的4K图像数据和由特定麦克风获取的日语声音数据的两条发送数据设置为一个发送数据组(SG1)。
这两条发送数据是被集体执行诸如发送开始和结束之类的处理的数据的组合。
此外,例如,被接收以用于在某个监视器上显示的4K图像数据和被接收以用于从连接到监视器的扬声器输出的声音数据被设置为一个接收数据组(DG1)。
这两条接收数据是被集体执行诸如接收开始和结束之类的处理的数据的组合。
以这种方式,由各个发送仪器发送的许多类型的发送数据和由各个接收仪器接收的许多类型的接收数据被分组,每个组包括可以被集体控制的数据,并且设置以下各个组。
发送数据组(SG:源组)
接收数据组(DG:目的地组)
解释使用这种组设置的具体控制示例。
例如,假设存在以下两个发送数据组(SG)和接收数据组(DG)。
(1)“发送数据组1(SG1)”和“接收数据组1(DG1)”,由相机1的捕获图像和麦克风1的获取声音构成。
(2)“发送数据组2(SG2)”和“接收数据组2(DG2)”,由相机2的捕获图像和麦克风2的获取声音构成。
例如,假设经由网络发送和接收上面解释的两个发送数据组(SG1和SG2)和接收数据组(DG1和DG2)。
假设作为连接到网络的接收装置之一的记录器A正在执行选择性地接收这两组数据并将数据记录在介质中的处理。
如果在记录器A正在记录接收数据组1(DG1)的图像和声音数据时从作为接收数据组1(DG1)的构成元件的相机1接收图像时发生错误,那么变得有可能让记录器A执行将记录的数据从接收数据组1(DG1)的图像和声音数据切换到接收数据组2(DG2)的图像和声音数据的处理。
以这种方式,有可能通过将发送/接收数据划分成组来各组执行发送的开始和结束之间的切换来尝试提高处理效率。
要注意的是,虽然在上面提到的示例中构成发送数据组(SG1)的数据和构成接收数据组(DG1)的数据是相同的数据,但是构成这些组的通信数据不需要设置成彼此匹配。
一个发送数据组(SG)是可以对其集体执行诸如发送处理的开始和结束之类的发送控制的发送数据集;另一方面,接收数据组(DG)是可以对其集体执行诸如接收处理的开始和结束之类的发送控制的发送数据集。
因而,构成发送数据组(SG)的数据和构成接收数据组(DG)的数据在一些情况下彼此不同。
组是有可能对其进行集体控制的数据集,并且例如可以被设置为不同格式化数据的逻辑集合(诸如各种图像或声音)。
从图1中所示的网络连接的仪器40中选择执行数据发送处理的数据发送装置,并且通过对来自所选择的数据发送装置的发送数据进行分类来设置示例性发送数据组(SG)。参考图4解释那些发送数据组(SG)。
图4图示了作为从图1中所示的网络连接的仪器40中选择的数据发送装置的相机161、麦克风1 62、相机2 63、麦克风2 64、服务器1 65以及播放器66。
这些装置中的每一个是通过图1中所示的网络30执行数据发送处理的数据发送装置。
例如,相机1 61发送4K未压缩视频,并且还发送HD压缩视频。
即,相机1 61捕获4K视频,基于捕获的4K视频生成两种不同分辨率的视频信号,4K未压缩视频信号和HD压缩视频,并将这两种类型的视频信号经由网络30发送到一个或多个接收装置。
麦克风1 62经由网络30将由麦克风1获取的声音信号发送到一个或多个接收装置。
要注意的是,图中所示的诸如相机或麦克风之类的任何数据发送装置都包括通信单元,并且具有执行符合IP协议的数据通信的功能。
要注意的是,用于执行IP通信的预处理(例如,诸如发送源和发送目的地的核实处理、设置地址、端口号等的处理之类的预处理,或检查处理)在发送装置和接收装置之间预先执行,以在发送装置和接收装置之间建立通信会话,然后执行利用IP分组的通信处理。
在图4所示的示例中,发送数据组1(SG1)71是以下三种类型的数据的组,即,通过组合三种类型的发送数据而形成的组:
由相机1 61发送的4K未压缩视频;
由相机1 61发送的HD压缩视频;以及
由麦克风1 62发送的未压缩声音。
如上面所提到的,例如,一个组被设置为可以在相同的定时对其执行数据发送和接收(例如,数据发送和接收的开始和结束)的控制的数据集。
具体而言,例如,一个组由构成某个节目等的特定相机的视频和声音数据的组合构成。
图4中所示的发送数据组1(SG1)71是由相机1 61捕获的视频和声音的集合组成的组。
构成这个发送数据组1(SG1)71的数据是可以在相同的定时对其执行数据发送控制(例如数据发送的开始和结束)的数据集,并且由视频和声音构成的一条内容通过将这组数据集体地分发到外部,或者在介质中集体记录这组数据来建立。
要注意的是,输出发送数据组1(SG1)71中的发送数据的发送装置,即,两个仪器:相机1 61;以及麦克风1 62,形成构成发送数据组1(SG1)71的发送装置的一个仪器组。
此外,图4中所示的发送数据组2(SG2)72是以下两种类型的数据的组,即,通过组合两种类型的发送数据形成的组:
由相机2 63发送的4K未压缩视频;以及
由麦克风2 64发送的未压缩声音。
构成发送数据组2(SG2)72的数据也是可以在相同的定时对其执行数据发送控制(例如,数据发送的开始和结束)的数据集,并且由视频和声音构成的一条内容通过将这组数据集体地分发到外部,或者在介质中集体记录这组数据来建立。
要注意的是,输出发送数据组2(SG2)72中的发送数据的发送装置,即,两个仪器:相机2 63;以及麦克风2 64,形成构成发送数据组2(SG2)72的发送装置的一个仪器组。
此外,图4所示的发送数据组3(SG3)73是以下两种类型的数据的组,即,通过组合两种类型的发送数据形成的组:
由服务器1 65发送的4K压缩视频;以及
由服务器1 65发送的压缩声音。
构成发送数据组3(SG3)73的数据也是可以在相同的定时对其执行数据发送控制(例如,数据发送的开始和结束)的数据集,并且由视频和声音构成的一条内容通过将这组数据集体地分发到外部,或者在介质中集体记录这组数据来建立。
要注意的是,输出发送数据组3(SG3)73中的发送数据的发送装置,即,服务器165,形成构成发送数据组3(SG3)73的发送装置的一个仪器组。以这种方式,在一些情况下,一个仪器组设置有一个装置。
解释示例性各组控制。
例如,在下面解释的示例中,执行各组控制,使得,如果构成每个组的数据当中的一条丢失,那么禁止向外部分发或在介质中记录。
例如,执行控制以使得,如果在发送数据组1(SG1)71中包括的“由相机1 61发送的4K未压缩视频”的发送中发生错误,那么,即使其它数据,数据片段:
“由相机1 61发送的HD压缩视频”;以及“由麦克风1 62发送的未压缩声音”正被发送和接收,发送数据组1(SG1)71中的数据也不被使用。
在这种情况下,另一个组,发送数据组2(SG2)72或发送数据组3(SG3)73,被用作分发到外部或在介质中记录的数据。
通过以这种方式执行各组控制,变得有可能执行这样的处理,其中由视频和声音构成的内容被分发或记录在介质中而没有中断。
要注意的是,执行数据发送的发送装置和发送数据组可以不具有一对一的关系,而是可以将一个发送装置的发送数据设置为包括在多个发送数据组中。例如,在图5中图示了这种设置。
在图5中所示的示例中,以下发送数据,即,发送数据,由相机2 63发送的4K未压缩视频,包括在两个组中,发送数据组1(SG1)71和发送数据组2(SG2)72。以这种方式,执行数据发送的发送装置和发送数据组可以不具有一对一的关系,而且可以将一个发送装置的发送数据设置为包括在多个发送数据组中。
参考图4和图5解释发送数据组的示例性设置。
接下来,参考图6解释接收数据组(DG)的示例性设置。
图6图示了监视器1 81、监视器2 82、扬声器1 83、PC1 84和记录器1 85,作为从图1中所示的网络连接的仪器40中选择的数据接收装置。
这些装置中的每一个都是通过图1所示的网络30执行数据接收处理的数据接收装置。
例如,监视器1 81是能够显示4K图像的4K监视器。
监视器2 82是能够显示HD图像的HD监视器。
扬声器1 83是能够输出立体声的立体声扬声器。
PC 1 84具有能够输出4K视频的4K监视器和能够输出声音的扬声器。
记录器1 86是能够在介质中记录4K视频和声音的记录器。
要注意的是,诸如图中所示的监视器或扬声器之类的任何数据接收装置包括通信单元,并且具有执行符合IP协议的数据通信的功能。
在图6所示的示例中,接收数据组1(DG1)91是以下三种类型的数据的组,即,通过组合三种类型的接收数据形成的组:
由监视器1 81接收的4K视频;
由监视器2 82接收的HD视频;以及
由扬声器1 83接收的声音。
接收数据组1(DG1)91是可以在相同的定时对其执行数据接收控制(例如,数据接收的开始和结束)的数据集。
具体而言,例如,接收数据组1(DG1)91是构成某个节目的特定相机的视频和声音数据的组合,并且由视频和声音构成的一条内容通过将这组数据集体地分发到外部,或者在介质中集体记录这组数据来建立。
要注意的是,接收接收数据组1(DG1)91中的接收数据的接收装置,即,三个仪器:监视器1 81;监视器2 82;以及扬声器1 83,形成构成接收数据组1(DG1)91的接收装置的仪器组。
此外,图6中所示的接收数据组2(DG2)92是以下两种类型的数据的组,即,通过组合两种类型的接收数据形成的组:
由PC 1 84接收的4K视频;以及
由PC 1 84接收的声音。
构成接收数据组2(DG2)92的数据也是可以在相同的定时对其执行数据接收控制(例如,数据接收的开始和结束)的数据集,并且由视频和声音构成的一条内容通过将这组数据集体地分发到外部,或者在介质中集体记录这组数据来建立。
要注意的是,接收接收数据组2(DG2)92中的接收数据的接收装置,即,PC1 83,形成构成接收数据组2 22的接收装置的一个仪器组。
此外,图6中所示的接收数据组3(DG3)93是以下两种类型的数据的组,即,通过组合两种类型的接收数据形成的组:
由记录器1 85接收的4K视频;以及
由记录器1 85接收的声音。
构成接收数据组3(DG3)93的数据也是可以在相同的定时对其执行数据接收控制(例如,数据接收的开始和结束)的数据集,并且由视频和声音构成的一条内容通过将这组数据集体地分发到外部,或者在介质中集体记录这组数据来建立。
要注意的是,接收接收数据组3(DG3)93中的接收数据的接收装置,即,记录器185,形成构成接收数据组3 93的接收装置的一个仪器组。
要注意的是,执行数据接收的接收装置和接收数据组可以不具有一对一的关系,而是可以将一个接收装置的接收数据设置为包括在多个接收数据组中。例如,在图7中图示了这种设置。
在图7所示的示例中,以下接收数据,即,接收数据,由PC 184接收的4K视频,包括在两个组中,接收数据组1(DG1)91和接收数据组2(DG2)92。以这种方式,执行数据接收的接收装置和接收数据组可以不具有一对一的关系,而是一个接收装置的接收数据可以被设置为包括在多个接收数据组中。
参考图8来解释参考图4解释的发送数据组(SG)和参考图6解释的接收数据组(DG)之间的示例性对应关系(即,各条数据的示例性发送和接收设置)。
图8是用于解释参考图4解释的发送数据组1至3(SG1至SG3)71至73与参考图6解释的接收数据组1至3(DG1至DG3)91至93之间的对应关系的图。
发送数据组1(SG1)71由三条数据构成:
相机1输出的4K未压缩视频;
相机1输出的HD压缩视频;以及
麦克风1输出的未压缩声音。
另一方面,接收数据组1(DG1)91由三条数据构成:
监视器1输入的4K视频;
监视器2输入的HD视频;以及
扬声器1输入的声音。
发送数据组1(SG1)71中的“相机1输出的4K未压缩视频”与作为接收数据组1(DG1)91的构成元素的“监视器1输入的4K视频”对应。
即,作为发送装置的相机1和作为接收装置的监视器1经由网络发送和接收4K未压缩视频。
此外,发送数据组1(SG1)71中的“相机1输出的HD压缩视频”与作为接收数据组1(DG1)91的构成元素的“监视器2输入的HD视频”对应。
即,作为发送装置的相机1和作为接收装置的监视器2经由网络发送和接收HD压缩视频。
此外,发送数据组1(SG1)71中的“麦克风1输出的未压缩声音”与作为接收数据组1(DG1)91的成元素的“扬声器1输入的立体声”对应。
即,作为发送装置的麦克风1和作为接收装置的扬声器1经由网络发送和接收未压缩声音。
发送数据组1(SG1)71和接收数据组1(DG1)91是使得能够各组控制(例如,发送和接收开始、停止等的集体控制)的组间通信(发送和接收)设置有可能的数据组的集合(组合)。
但是,应当注意的是,属于发送数据组1(SG1)71和接收数据组1(DG1)91的各条数据可以独立地在各个数据发送装置(发送设备)和数据接收装置(接收设备)之间通信。
图8中所示的发送数据组2(SG2)72由两条数据构成:
相机2输出的4K未压缩视频;以及
麦克风2输出的未压缩声音。
另一方面,接收数据组2(DG2)92由两条数据构成:
PC 1输入的4K视频;以及
PC 1输入的声音。
发送数据组2(SG2)72中的“相机2输出的4K未压缩视频”与作为接收数据组2(DG2)92的构成元素的“PC1输入的4K视频”对应。
即,作为发送装置的相机2和作为接收装置的PC1经由网络发送和接收4K未压缩视频。
此外,发送数据组2(SG2)72中的“麦克风2输出的未压缩声音”与作为接收数据组2(DG2)92的组成元件的“PC1输入的声音”对应。
即,作为发送装置的麦克风2和作为接收装置的PC1经由网络发送和接收未压缩声音。
此外,图8中所示的发送数据组3(SG3)73由两挑数据构成:
服务器1输出的4K无压缩视频;以及
服务器1输出的压缩声音。
另一方面,接收数据组3(DG3)93由两条数据构成:
记录器1输入的4K视频;以及
记录器1输入的声音。
发送数据组3(SG3)73中的“服务器1输出的4K未压缩视频”与作为接收数据组3(DG3)93的构成元素的“记录器1输入的4K视频”对应。
即,作为发送装置的服务器1和作为接收装置的记录器1经由网络发送和接收4K未压缩视频。
此外,发送数据组3(SG3)73中的“服务器1输出的压缩声音”与作为接收数据组3(DG3)93的构成元素的“记录器1输入的声音”对应。
即,作为发送装置的服务器1和作为接收装置的记录器1经由网络发送和接收压缩声音。
[4.关于由信息处理装置生成的显示信息(UI)]
接下来,解释由图1和图3中所示的信息处理装置(系统监视装置)20生成的显示信息(UI)的具体示例。
如上面已经解释的,经由网络30,图1和图3中所示的网络连接的仪器40执行各种类型的视频数据(诸如4K视频、HD视频和SD视频)、各种语言(诸如日语声音和英语声音)和各种类型的声音数据(诸如单声道声音、立体声和环绕声)的发送和接收,并且不同格式化并且对其应用了不同编解码器的各种类型的数据被发送和接收。
如参考图4至图8已经解释的,信息处理装置20设置其中逻辑组合了这么多不同类型的发送/接收数据的组,并生成各组显示信息。
如上面所提到的,例如,这些组包括以下组。
发送数据组(SG:源组)
接收数据组(DG:目的地组)
例如,这些组是可以被集体控制的数据集。
信息处理装置(系统监视装置)20在构成图1中所示的信息处理系统10的各个仪器(即,作为视听数据处理装置的仪器40a至40p)处各通信数据、各装置和各组监视数据处理状况或仪器间通信状况,并且在每个仪器中发生的错误以及仪器间通信中的通信错误的发生状况被显示在显示单元上。
信息处理装置20经由图3中所示的网络连接的仪器或系统控制器21接收指示每个仪器的状态的信息(仪器信息)。
例如,仪器信息包括关于每个仪器的通信信息、错误信息等。
通信信息包括关于正在被执行、停止或保留的通信的每个实例的信息,诸如发送源信息、发送目的地信息或通信数据类型(4K视频、日语声音等)。
基于输入仪器信息,信息处理装置20生成指示网络连接的仪器的通信状况的显示信息,具体而言,显示信息包括上面参考图4至图8等进行解释的每个仪器的错误、仪器间通信的状况以及各组的通信状况。
即,信息处理装置20生成使得能够识别由多条发送数据构成的发送数据组和由多条接收数据构成的接收数据组之间的组间通信的数据的显示信息。
下面参考图9解释具体的示例性显示信息(UI)。
图9是图示信息处理装置20的显示单元的示例性显示信息的图。
图9中所示的显示信息由显示在以下部分中的三条信息构成
(1)组选择部分110,
(2)连接信息显示部分120,以及
(3)细节信息显示部分130。
图9所示的显示信息使得能够在分辨率、编解码器、颜色深度等方面对不同格式化的多个视频、声音等进行逻辑分组,并且容易地检查哪些组处于发送-接收关系。
例如,变得有可能容易地检查视频和声音的通信数据中哪些通信数据与正在发生错误的组相关联,以及错误的细节。
例如,变得有可能缩窄连接到网络的特定装置(设备)、组或针对各条通信数据的终端,以及显示和检查关于每个构成元件(组、设备和终端)的细节信息,并且有可能容易地检查正在发生错误的部分,并且容易地缩窄错误的影响范围。
例如,在发生错误时,错误信息显示在图9中所示的连接信息显示部分120中。
例如,如果在发送侧的特定组、构成组的设备或设备终端中发生错误,那么在发送侧的组图标或终端附近显示错误消息。
此外,如果在接收侧的特定组、构成组的设备或设备终端中发生错误,那么在接收侧的组图标或终端附近显示错误消息。
通过显示这样的错误消息,变得有可能容易地识别在哪个部分发生了错误。
此外,用户(监视器)可以从多个发送数据组或接收数据组或图9中所示的连接信息显示部分120中指示的组之间的多个通信流中选择生成错误的组或流。例如,可以通过点击处理进行选择。
通过这个选择处理,可以将与选择组或选择流无关的元素(即,在错误的影响范围之外的组或流)设置为灰色或隐藏。这种显示控制使得有可能立即检查一个错误的影响范围。
此外,有可能在图9中所示的细节信息显示部分130中显示和检查关于连接到网络的装置(设备)、组或针对各条通信数据的终端的细节信息,并且变得有可能容易地检查其中发生错误的组、设备或终端的具体错误内容。
在利用IP网络的数据发送和接收中,难以仅基于物理线确定诸如视频和声音之类的各条数据之间的发送-接收关系,但是利用本公开中的配置,变得有可能容易地检查各条数据之间的发送-接收关系,并且变得有可能可靠地识别发生错误的位置和错误的影响范围。
在下文中,下面参考图10解释作为由图9中所示的显示信息(即,显示在以下部分中的三条信息)组成的UI的“组间通信信息显示屏”的细节
(1)组选择部分110,
(2)连接信息显示部分120,以及
(3)细节信息显示部分130。
[4-1.关于组选择部分显示信息的细节]
首先,参考图10解释构成“组间通信信息显示屏”的组选择部分110的显示信息的细节,其是信息处理装置20的显示信息。
组选择部分110是显示组的列表的区域,并且使得用户有可能从显示的组列表中选择一个或多个组,使得连接信息显示部分120显示与所选择的组相关的连接信息,并使细节信息显示部分130显示与所选择的组相关的细节信息。
要注意的是,组选择部分110还显示连接到网络的装置(设备)的列表,并且具有从装置列表中选择装置并在组列表中显示与选择装置对应的组的组缩窄功能。
以这种方式,组选择部分110是提供用户界面(UI)的区域,用于各组决定要在连接信息显示部分120和细节信息显示部分130中显示的信息。
要注意的是,如上面所提到的,这些组包括以下组。
发送数据组(SG:源组)
接收数据组(DG:目的地组)
有可能在组选择部分110中指定上面解释的发送数据组(SG)和接收数据组(DG)中的任何一个或两者,作为要在连接信息显示部分120和细节信息显示部分130中显示的(一个或多个)组。
此外,在组选择部分110中,显示
(a)由网络连接的仪器的装置名称(设备名称)构成的装置列表,以及
(b)由发送数据组(SGn)和接收数据组(DGn)的组标识符构成的组列表。
有可能通过利用这些列表来指定特定的组并指定与特定装置对应的组。
如图10中所示,组选择部分110具有在左侧示出的装置(设备)信息显示区域111,以及在右侧示出的组信息子显示区域112。
在左侧示出的装置信息显示区域111的上部区域中,设置装置(设备)搜索部分113,而在其下部区域中,设置作为与装置(设备)搜索部分113对应的搜索结果的显示装置的列表的装置(设备)列表显示部分114。
另一方面,在右侧示出的组信息显示区域112的上部区域中,设置组搜索部分115,而在其下部区域中,设置显示作为与组搜索部分115对应的搜索结果的组标识符的列表(SGn和DGn)的组列表显示部分116。
例如,如果用户在装置(设备)搜索部分113中的数据输入部分(搜索词输入部分)中输入诸如装置名称之类的搜索词并执行搜索,那么作为搜索结果的装置(设备)的列表显示在下部的装置(设备)列表显示部分114中。
要注意的是,图10中所示的示例是其中“所有设备”被用作搜索词以执行搜索的示例,并且作为这种搜索的结果,连接到网络的所有装置(设备)的装置名称(设备名称)的列表显示在装置列表显示部分114中。
此外,例如,如果用户在组搜索部分115中的数据输入部分(搜索词输入部分)中输入作为所有发送数据组共有的组标识符的构成元素的(SG)作为搜索词并执行搜索,那么为当前系统设置的发送数据组的所有组标识符(SG1至SGn)的列表作为搜索结果显示在下部的组列表显示部分114中。
要注意的是,图中所示的示例是其中“所有组”被用作搜索词以执行搜索的示例,并且作为这种搜索的结果,为信息处理系统10设置的所有组标识符的列表显示在组列表显示部分116中。
此外,通过用户选择(点击)装置列表显示部分114中显示的装置名称(设备名称),仅可以使选择装置的发送数据所属的发送数据组(SGn)或接收数据组(DGn)的组标识符显示在组列表显示部分116中。
即,有可能基于装置缩窄组,从而仅显示与组列表显示部分116中的特定装置对应的组。
此外,通过用户在组列表显示部分116中显示的组标识符当中选择(点击)特定组标识符,在连接信息显示部分120中显示与所选择的组相关的连接信息,并且附加地在细节信息显示部分130中显示与选择装置或选择组相关的细节信息。
要注意的是,在利用装置(设备)搜索部分113和组搜索部分115的另一个搜索处理模式下,除了基于装置名称、组名称或组标识符的指定或其中一些的指定的搜索之外,例如还有可能通过执行基于[错误]作为搜索词的指定的搜索,仅使得发生错误的装置或组在列表中显示。
[4-2.关于连接信息显示部分的显示信息的细节]
接下来,参考图11解释连接信息显示部分120中的显示信息的细节。
在连接信息显示部分120中,显示由用户在上面参考图10解释的组选择部分110中选择的组的连接信息。
图11中图示了连接信息显示部分120中的显示信息的具体示例。
如图11中所示,连接信息显示部分120由显示区域、发送数据组(SG)显示区域121、接收数据组(DG)显示区域122和连接信息显示区域123构成。
在发送数据组显示区域121中,各组显示发送数据组(SG)。
在接收数据组显示区域122中,各组显示接收数据组(DG)。
每个组图标124指示组单元。
如上面所提到的,这些组各自是可以集体执行集体控制(具体而言,起动和停止数据发送和接收的处理)的组。
显示在发送数据组显示区域121中的发送数据组(SG)和显示在接收数据组显示区域122中的接收数据组(DG)中的每一个具有针对每种类型的通信数据显示的通信终端图标125。
通信数据是例如“4K压缩视频”、“日语声音”等。
在连接信息显示区域123中,显示包括在每个组中的各通信数据的通信状况。
在连接信息显示区域123中,链接为发送数据组(SG)设置的通信终端图标和为接收数据组(DG)设置的通信终端图标的线指示各个组的终端之间的通信状态。
要注意的是,虽然所示的链接通信终端图标的线在图11中是虚线,但是这些虚线图示了实际通信未执行的状态。即,它们图示了正在准备通信的状态或者通信停止的状态。
在正在执行通信的状态下,例如,如图12所示,所显示的链接通信终端图标的线是实线。
在连接信息显示区域123中显示的连接线被显示为设置成使得能够识别通信数据类型、发送和接收方向以及通信状态的线。
具体而言,取决于通信数据类型,在不同颜色、粗细等之间更改连接线的显示模式。
此外,显示由数据通信的方向指示的箭头。
此外,关于通信状态,在执行通信时显示实线,并且在通信未执行状态下显示虚线。
要注意的是,如图11中所示,显示与每条连接线相关联的通信数据标识符126,从而使得能够识别通信数据类型。
[V(4K)压缩]意味着4K视频的压缩数据。
[A(J)压缩]意味着日语声音的压缩数据。
此外,如果在由每条连接线指示的通信线路中检测到某个问题(即,某个错误),那么在连接信息显示区域123中显示与错误状态对应的警告信息(错误消息)127。在该图中,[警告通信延迟(小)]作为警告信息(错误消息)的一个示例被示出。
警告信息(错误消息)127显示在发生错误的连接线上。此外,警告信息(错误消息)127显示在输出错误报告的仪器一侧的终端附近。即,警告信息(错误消息)127显示在与发送数据组或接收数据组中的仪器对应并输出错误报告的终端附近。
如下面将要解释的,例如,通过用户(监视器)指定(点击)靠近警告信息(错误消息)127的显示位置的终端图标,在细节信息显示部分130中显示与终端相关的细节信息,从而使得能够检查错误的细节。
参考图13和图14解释在连接信息显示区域123中显示的通信数据标识符、连接线模式以及警告消息的具体示例。
首先,参考图13解释在连接信息显示区域123中显示的通信数据标识符和连接线的具体示例。
作为在连接信息显示区域123中显示的通信数据标识符和连接线中的一些的具体示例,图13针对以下四种类型的通信数据图示了(A)通信数据标识符,以及(B)根据通信状态的连接线显示模式。
(1)4K压缩视频
(2)4K未压缩视频
(3)HD压缩视频
(4)日语压缩声音
例如,如果通信数据是(1)4K压缩视频,那么:
(A)通信数据标识符是“V(4K)压缩”;以及
(B)根据通信状态的连接线显示模式在通信执行状态下是黑色实线显示,并且在通信未执行状态下是黑色虚线显示。
要注意的是,连接线被设置为具有指示从发送源到发送目的地的方向的箭头。这同样适用于以下解释。
此外,如果通信数据是(2)4K未压缩视频,那么:
(A)通信数据标识符是“V(4K)未压缩”;以及
(B)根据通信状态的连接线显示模式在通信执行状态下是红色实线显示,并且在通信未执行状态下是红色虚线显示。
此外,如果通信数据是(3)HD压缩视频,那么:
(A)通信数据标识符是“V(HD)压缩”;以及
(B)根据通信状态的连接线显示模式在通信执行状态下是蓝色实线显示,并且在通信未执行状态下是蓝色虚线显示。
此外,如果通信数据是(4)日语压缩声音,那么:
(A)通信数据标识符是“A(J)压缩”;以及
(B)根据通信状态的连接线显示模式在通信执行状态下是绿色实线显示,并且在通信未执行状态下是绿色虚线显示。
要注意的是,图13中所示的示例是一个示例,并且可以使用除这些设置之外的各种显示模式。
但是,应当注意的是,原则上,每条通信数据的类型、通信状态和通信方向在任何设置中都是可识别出的。
接下来,参考图14解释在连接信息显示区域123中显示的警告信息(错误消息)127的具体示例。
图14图示了关于以下四种类型的示例性错误的(A)错误级别标识符和(B)错误消息显示模式:
(1)通信延迟(小)
(2)通信延迟(大)
(3)分组丢失
(4)通信停止
错误的严重程度按从(1)到(4)的次序增加。
要注意的是,图14中所示的示例性错误是示例,并且除了它们之外还存在许多错误。每个错误与多个错误级别相关联,这些级别取决于错误内容来指示错误严重性。
例如,如果错误是(1)通信延迟(小),那么
(A)错误级别标识符是“WARNING”并且
(B)错误信息显示模式被设置为:[WARNING通信延迟(小)]。
上面解释的消息在发生错误的连接线上以蓝色显示。
要注意的是,如上面所提到的,图11中所示的警告信息(错误消息)127显示在发生错误的连接线上以及在输出错误报告的错误检测仪器一侧的终端附近。即,警告信息(错误消息)127显示在与发送数据组或接收数据组中的仪器对应并且输出错误报告的终端附近。通过用户(监视器)指定(点击)在警告信息(错误消息)127的显示位置附近的终端图标,与终端相关的细节信息显示在细节信息显示部分130中,从而使得能够检查错误的细节。
此外,如果错误是(2)通信延迟(大),那么
(A)错误级别标识符是“MINOR”并且
(B)错误信息显示模式被设置为:[MINOR通信延迟(大)]。
上面解释的消息在发生错误的连接线上以绿色显示。
此外,如果错误是(3)分组丢失,那么
(A)错误级别标识符是“MAJOR”并且
(B)错误信息显示模式被设置为:[MAJOR分组丢失]。
上面解释的消息在发生错误的连接线上以黄色显示。
此外,如果错误是(4)通信停止,那么
(A)错误级别标识符是“CRITICAL”并且
(B)错误信息显示模式被设置为:[CRITICAL通信停止]。
上面解释的消息在发生错误的连接线上以红色显示。
要注意的是,图14中所示的这个示例是一个示例,并且可以使用除这些设置之外的各种显示模式。
但是,应当注意的是,原则上,指示每个错误的严重性的错误级别以及错误的具体内容在任何设置中都是可识别的。
[4-3.关于细节信息显示部分的显示信息的细节]
接下来,解释构成信息处理装置20的显示信息的细节信息显示部分130的显示信息的细节。
例如,细节信息显示部分130可以在以下三种不同类型的单元中显示细节信息。
(a)装置(设备)细节信息
(b)组细节信息
(c)终端细节信息
用户可以指定在细节信息显示部分130中显示上面解释的(a)至(c)当中的哪个细节信息。
图15是图示由用户指定在细节信息显示部分130中显示的(a)至(c)当中的哪个细节信息的示例性处理的图。
图15是图示信息处理装置(系统监视装置)20的显示屏的示例性显示的图,类似于上面参考图9解释的显示屏。
图15中所示的显示信息由显示在以下部分中的三条信息构成
(1)组选择部分110,
(2)连接信息显示部分120,以及
(3)细节信息显示部分130。
例如,可以通过指定(点击)在组选择部分110或连接信息显示部分120中显示的数据来切换在细节信息显示部分130中显示的信息。
例如,如图15中的“设备指定示例”所示,通过从组选择部分110中的装置(设备)列表显示部分中显示的装置(设备)名称中选择(点击)一个装置(设备)名称[相机2等]等,在细节信息显示部分130中显示关于所选择的装置(设备)的细节信息。
此外,如图15中的“组指定示例1”所示,通过从组选择部分110中的组列表显示部分中的组名称中选择(点击)一个组名[DG3等],在细节信息显示部分130中显示关于所选择的组的细节信息。
此外,如图15中的“组指定示例2”和“组指定示例3”所示,通过选择(点击)指示在连接信息显示部分120中显示的组的组图标[SG4、DG4等],在细节信息显示部分130中显示关于所选择的组的细节信息。
此外,如图15中的“终端指定示例”所示,通过选择(点击)指示在连接信息显示部分120中显示的终端的终端图标,在细节信息显示部分130中显示关于所选择的终端的细节信息。
接下来,参考图16按下面的次序解释在细节信息显示部分130中显示的以下三种类型的细节信息。
(a)装置(设备)细节信息
(b)组细节信息
(c)终端细节信息
首先,参考图16解释细节信息显示部分130中显示的(a)装置(设备)细节信息的细节。
(a)装置(设备)细节信息是各仪器的细节信息,并且例如包括各装置(各设备)的错误细节信息。
如果(a)装置(设备)细节信息显示在细节信息显示部分130中,那么装置(设备)细节信息由以下各个显示区域构成,如图16中所示:
(a1)通信状态显示区域131;
(a2)装置(设备)属性信息显示区域132;
(a3)装置(设备)终端信息显示区域133;以及
(a4)装置(设备)错误信息显示区域134
这个装置(设备)的通信状态显示在(a1)通信状态显示区域131中。
或者在通信执行状态下显示通信被执行(已连接),或者在通信停止状态下显示通信被停止(已断开)。
在(a2)装置(设备)属性信息显示区域132中显示装置(设备)的属性信息。
例如,属性信息包括装置(设备)的序列号、装置(设备)的制造商、装置(设备)的接口信息、协议、核实信息等。
用于装置(设备)的数据通信的终端信息显示在(a3)装置(设备)终端信息显示区域133中。
例如,提供给装置(设备)的终端的终端名称(Name),以及作为通信数据的输入/输出信息的方向信息(Direction)彼此相关联地显示。
[INPUT]指示它是数据输入终端,而[OUTPUT]指示它是数据输出终端。
要注意的是,每个终端是各通信数据设置的。但是,应当注意的是,终端不需要被设置为设备的物理配置,而是可以是虚拟配置,即,用于区分与通信数据对应的输入与输出单元的虚拟终端。
要注意的是,通过指定(点击)在这个装置(设备)终端信息显示区域133中显示的终端名称(Name),可以将细节信息显示部分130的显示切换到关于所选择的终端的细节信息。
在(a4)装置(设备)错误信息显示区域134中显示装置(设备)的错误信息。
关于发送到装置(设备)的数据输入/来自装置(设备)的数据输出的接收的通信错误或装置(设备)内发生的错误,显示指示错误级别的严重性和指示错误状况的消息。
作为指示错误级别的严重性,根据错误内容显示四种类型的级别WARNING、MINOR、MAJOR和CRITICAL,类似于参考上面的图14解释的警告信息。
指示具体错误内容的信息显示在消息显示区域中。
接下来,参考图17解释在细节信息显示部分130中显示的(b)组细节信息的细节。
(b)组细节信息是关于发送数据组和接收数据组中的任何一个的各组细节信息。组细节信息包括关于组中包括的通信数据的细节信息。
如果(b)组细节信息显示在细节信息显示部分130中,那么组细节信息由以下各个显示区域构成,如图17中所示。
(b1)组标识符显示区域141,以及
(b2)属于组的通信数据显示区域142
组标识符显示在(b1)组标识符显示区域141中。
要注意的是,如上面所提到的,组是以下任何一个
发送数据组(SG:源组)
接收数据组(DG:目的地组)。
关于属于这个组的通信数据的信息显示在(b2)属于组的通信数据显示区域142中。
级别(Level)是指示通信层次结构的数据,如果只有一个通信实例属于该组,那么只设置Level1,如果有两个通信实例属于该组,那么设置Level1和Level2两个级别。此后,设置与通信实例的数量对应的级别数。
名称(Name)指示通信数据的细节,并且例如,显示使得能够识别具体数据类型、格式或编解码器的信息,诸如4K视频未压缩数据的通信或声音压缩数据的通信。
要注意的是,在另一种可能的配置中,除了图17中所示的数据之外,例如,可以显示在组中登记的终端的错误列表。
接下来,参考图18解释细节信息显示部分130中显示的(c)终端细节信息的细节。
(c)终端细节信息是关于在网络连接的仪器之间通信的数据中的发送数据或接收数据的每条通信数据的发送单元或接收单元的各单元的细节信息。
终端细节信息包括终端错误细节信息,该终端错误细节信息是关于每条通信数据的发送单元或接收单元的各单元错误信息。
如果(c)终端细节信息显示在细节信息显示部分130中,那么装置(设备)细节信息由以下各个显示区域构成,如图18中所示:
(c1)终端名称显示区域151;
(c2)终端设置装置(设备)名称显示区域152;
(c3)终端通信信息显示区域153;
(c4)终端属性信息显示区域154;以及
(c5)终端错误信息显示区域155
这个终端的名称显示在(c1)终端名称显示区域151中。
为这个终端设置的装置(设备)名称显示在(c2)终端设置装置(设备)名称显示区域152中。
指示通过这个终端的通信的执行状态的信息显示在(c3)终端通信信息显示区域153中。
终端的属性信息显示在(c4)终端属性信息显示区域154中。
例如,显示诸如指示通过终端的通信是数据输入(INPUT)还是数据输出(OUTPUT)、IP地址和多播地址的信息之类的信息。
在(c5)终端错误信息显示区域155中显示与通过终端的通信相关的错误信息。
关于与终端相关的错误,显示与错误内容对应的代码、错误级别以及指示错误状况的消息。
作为错误级别,根据错误内容显示四种类型的级别WARNING、MINOR、MAJOR和CRITICAL,类似于上面参考图14解释的警告信息。
指示具体错误内容的信息显示在消息显示区域中。
如上面已经解释的,本公开的特许(concession)方法处理装置(系统监视装置)20显示图9中所示的显示信息(即,显示在以下部分中的三条信息)
(1)组选择部分110,
(2)连接信息显示部分120,以及
(3)细节信息显示部分130。
如上面所提到的,这个显示信息使得能够在分辨率、编解码器、颜色深度等方面对不同格式化的多个视频、声音等进行逻辑分组,并且容易地检查哪些组处于发送-接收关系中,从而使得有可能容易地检查视频和声音的通信数据中哪个通信数据与发生错误的组相关联或者错误的细节。
此外,有可能缩窄连接到网络的特定装置(设备)、组或针对各条通信数据的终端,并且显示并检查关于每个构成元件(组、设备和终端)的细节信息,并且有可能容易地检查发生错误的部分,并容易地缩窄错误的影响范围。
[5.关于信息处理装置(系统监视装置)的显示信息的示例性转变]
接下来,解释信息处理装置(系统监视装置)的显示信息的示例性转变。
在监视网络等的通信状况的信息处理装置(系统监视装置)20的显示单元上,显示作为由上面参考图9解释的显示信息(即,在以下部分中显示的三条信息)组成的UI的组间通信信息显示屏
(1)组选择部分110,
(2)连接信息显示部分120,以及
(3)细节信息显示部分130。
显示由这三条信息构成的组间通信信息显示屏(UI)的处理可以被配置为在任何时间连续地执行,但是它可以被配置为与其它各种类型的显示信息以切换方式执行。
例如,在可能的配置中,如图19中所示,显示指示连接到网络30的装置(设备)的列表的页面,并且在这个页面上选择特定的装置(设备),使得显示被切换到图9中所示的组间通信信息显示屏(UI)的显示,其由与所选择的装置(设备)相关的组、连接信息等组成。
例如,在图19中所示的示例中,通过用户从设备列表中选择服务器1并右键单击它,显示图中所示的处理选择列表201。
此外,用户在处理选择列表201中选择并点击“显示组间通信信息”。
利用这个处理,显示组间通信信息显示屏,其由显示在上面解释的图9中所示的以下部分中的三条信息组成
(1)组选择部分110,
(2)连接信息显示部分120,以及
(3)细节信息显示部分130。
可替代地,在可能的配置中,显示并点击用于使得转变到如图中19所示的设备列表的左下部分所示的组间通信信息显示屏的操纵图标202,并且由此使得转变到组间通信信息显示屏。
此外,在可能的设置中,如图20中所示,在信息处理装置(系统监视装置)20的显示单元上,显示可以在其上查看由连接到网络30的多个相机捕获的图像的多视图屏幕,并且使得从这个屏幕转变到图9中所示的组间通信信息显示屏。
例如,如果没有显示图20中所示的相机3的视频,并且用户(监视器)确定可能正在发生某个错误,那么选择(点击)相机3的视频区域。
这个选择(点击)处理使得转变到包括相机3的发送和接收数据的通信数据组的组间通信信息显示屏。
要注意的是,除了如图20所示的没有显示相机3的视频的情况之外,例如,在可能的配置中,还在相机3的视频区域中显示指示错误发生的错误消息,选择(点击)错误消息显示区域,使得对包括其中发生错误的相机3的发送和接收数据的通信数据组的组间通信信息显示屏进行转变。
[6.关于信息处理装置的示例性配置]
接下来,参考图21解释图1和图3中所示的信息处理装置(系统监视装置)20的示例性硬件配置,以及可以用作图3中所示的系统控制器21的信息处理装置。
例如,信息处理装置具有图21中所示的硬件配置。CPU(中央处理单元)301用作根据存储在ROM(只读存储器)302或存储单元308中的程序执行各种处理的数据处理单元。例如,信息处理装置执行在上面提到的实施例中解释的错误信息收集处理、分析处理、显示屏生成处理等。
RAM(随机存取存储器)303存储将由CPU 301执行的程序、数据等。这些CPU 301、ROM 302和RAM 303通过总线304互连。
CPU 301经由总线304连接到输入/输出接口305,并且输入/输出接口305与输入单元306和输出单元307连接,输入单元306由各种类型的开关、键盘、触摸板、鼠标、麦克风等组成,输出单元307由显示器、扬声器等组成。
例如,CPU 301基于从输入单元306输入的指令等执行各种类型的处理,并将处理的结果输出到输出单元307。
连接到输入/输出接口305的存储单元308例如由硬盘等组成,并存储要由CPU 301执行的程序和各种类型的数据。通信单元309用作通过诸如互联网或局域网之类的网络进行数据通信的发送和接收单元,并与外部装置通信。
连接到输入/输出接口305的驱动器310驱动可移动介质311,其是磁盘、光盘、磁光盘、诸如存储卡之类的半导体存储器等,并执行数据的记录或读出。
[7.应用示例]
根据本公开的技术可以应用于各种产品。例如,根据本公开的技术可以应用于手术室系统。
图22是示意性地图示可以向其应用根据本公开的技术的手术室系统5100的整体配置的图。如通过参考图22可以看出的,手术室系统5100由安装在手术室中的装置组配置,这些装置连接成使得它们可以经由视听控制器(AV控制器)5107和手术室控制装置5109彼此协作地操作。
可以在手术室中安装各种装置。例如,图22图示了包括用于内窥镜外科手术的各种类型的装置的装置组5101、在手术室的天花板上提供并且捕获外科手术操作者的手周围区域的天花板相机5187、在手术室的天花板上提供并且捕获表示整个手术室看起来如何的图像的外科外科手术相机5189、多个显示装置5103A至5103D、记录器5105、病床5183以及照明系统5191。
这里,在这些装置当中,装置组5101属于下面提到的内窥镜外科手术系统5113,并且由内窥镜、显示由内窥镜捕获的图像的显示装置等组成。属于内窥镜外科手术系统5113的每个装置也被称为医疗器械。另一方面,显示装置5103A至5103D、记录器5105、病床5183和照明系统5191是例如与内窥镜外科手术系统5113分开安装在手术室中的装置。这些不属于内窥镜外科手术系统5113的个体装置也被称为非医疗器械。视听控制器5107和/或手术室控制装置5109彼此协作地控制这些医疗器械和非医疗器械的操作。
视听控制器5107执行与医疗器械和非医疗器械处的图像显示相关的处理的整体控制。具体而言,在提供给手术室系统5100的装置当中,装置组5101、天花板相机5187和外科手术相机5189可以是具有在外科手术期间显示调度信息(下文中,也称为显示信息)的功能的装置(下文中,也称为调度源装置)。此外,显示装置5103A至5103D可以是输出显示信息的装置(下文中,也称为输出目的地装置)。此外,记录器5105可以是既是调度源装置又是输出目的地装置的装置。视听控制器5107具有控制调度源装置和输出目的地装置的操作并从调度源装置获取显示信息的功能,以及附加地将显示信息发送到输出目的地装置并且使得显示或记录显示信息的功能。要注意的是,显示信息是在外科手术期间捕获的各种类型的图像、各种类型的外科手术相关信息(例如,患者的身体信息、过去的检查结果、关于外科手术操作的方法的信息等)等。
具体而言,关于由内窥镜捕获的患者的体腔中的外科手术操作部位的图像的信息可以作为显示信息从设备组5101发送到视听控制器5107。此外,关于由天花板相机5187捕获的外科手术操作者的手周围区域的图像的信息可以作为显示信息从天花板相机5187发送。此外,关于表示外科手术相机5189如何捕获整个手术室的图像的信息可以作为显示信息从外科手术相机5189发送。要注意的是,如果在手术室系统5100中存在具有图像捕获功能的另一个装置,那么视听控制器5107可以从该另一个装置获取关于由该另一个装置捕获的图像的信息作为显示信息。
可替代地,例如,关于过去捕获的图像的信息由视听控制器5107记录在记录器5105中。视听控制器5107可以从记录器5105获取关于过去捕获的图像的信息作为显示信息。要注意的是,可以预先在记录器5105中记录各种类型的外科手术相关信息。
视听控制器5107使得作为输出目的地装置的显示装置5103A至5103D中的至少任一个显示所获取的显示信息(即,在外科手术期间捕获的图像,或各种类型的外科手术相关信息)。在所示的示例中,显示装置5103A是安装成从手术室的天花板上悬挂的显示装置,显示装置5103B是安装在手术室的墙壁表面上的显示装置,显示装置5103C是安装在手术室的桌子上的显示装置,并且显示装置5103D是具有显示功能的移动仪器(例如,平板PC(个人计算机))。
此外,虽然在图22中省略了其图示,但是手术室系统5100可以包括位于手术室外面的装置。位于手术室外面的装置可以是连接到医院内外构建的网络的服务器、医务人员使用的PC、安装在医院的会议室中的投影仪等。如果这种外部装置位于医院外,那么视听控制器5107可以使得另一家医院的显示装置经由视频会议系统等显示显示信息,以进行远程医疗实践。
手术室控制装置5109执行除了与非医疗器械的图像显示相关的处理之外的处理的整体控制。例如,手术室控制装置5109控制病床5183、天花板相机5187、外科手术相机5189和照明系统5191的驱动。
手术室系统5100设有中央操纵面板5111,并且用户可以向视听控制器5107给出关于图像显示的指令,并且可以经由中央操纵面板5111向手术室控制装置5109给出关于非医疗器械的操作的指令。中央操纵面板5111被配置为在显示装置的显示表面上设有触摸面板。
图23是图示中央操纵面板5111上的操纵屏幕的示例性显示的图。例如,图23图示了与在手术室系统5100中提供两个显示装置作为输出目的地装置的情况对应的操纵屏幕。如通过参考图23可以看出的,操纵屏幕5193设有调度源选择区域5195、预览区域5197和控制区域5201。
在调度源选择区域5195中,在手术室系统5100中提供的调度源装置和表示调度源装置具有的显示信息的缩略图屏幕彼此相关联地显示。用户可以从在调度源选择区域5195上显示的任何一个调度源装置中选择他/她希望在显示装置上显示的显示信息。
在预览区域5197中,显示要在作为输出目的地装置的两个显示装置(Monitor1和Monitor2)上显示的屏幕的预览屏幕。在所示的示例中,在一个显示装置中PinP(画中画)显示四个图像。这四个图像与从在调度源选择区域5195中选择的调度源装置调度的显示信息对应。在这四个图像当中,一个图像作为主图像显示得相对大,而剩余的三个图像作为子图像显示得相对小。用户可以通过选择适当地显示四个图像的区域来切换主图像和子图像。此外,状况显示区域5199在显示四个图像的区域的下部提供,并且与外科手术相关的状况(例如,外科手术的经过时间、患者的身体信息等)可以适当地显示在该区域中。
控制区域5201设有调度源操纵区域5203,其中显示用于对调度源装置执行操纵的GUI(图形用户界面)部分,以及输出目的地操纵区域5205,其中显示用于对输出目的地装置执行操纵的GUI部分。在所示示例中,调度源操纵区域5203设有GUI部分,用于对调度源装置处具有图像捕获功能的相机执行各种类型的操纵(平移、倾斜和缩放)。用户可以适当地选择这些GUI部分以在调度源装置处操纵相机的操作。要注意的是,虽然省略了其图示,但是,如果在调度源选择区域5195中选择的调度源装置是记录器(即,如果过去记录在记录器中的图像显示在预览区域5197中),那么调度源操纵区域5203可以设有GUI部分,用于执行图像的回放、回放停止、回退、前进等操纵。
此外,输出目的地操纵区域5205设有GUI部分,用于对作为输出目的地装置的显示装置处的显示执行各种类型的操纵(交换、翻转、颜色调整、对比度调整,以及2D显示和3D显示之间的切换)。用户可以适当地选择这些GUI部分以操纵显示装置上的显示。
要注意的是,在中央操纵面板5111中显示的操纵屏幕不限于所示的示例,而是用户可以能够经由中央操纵面板5111对可以由手术室系统5100中提供的视听控制器5107和操作室控制装置5109控制的每个装置执行操纵输入。
图24是图示向其应用手术室系统的外科手术如何出现的示例的图。天花板相机5187和外科手术相机5189在手术室的天花板上提供,并且可以捕获表示对病床5183上的患者5185身上的患病(affected)区域执行治疗的外科手术操作者(医生)5181的手周围区域和手术室的整个空间看起来如何的图像。天花板相机5187和外科手术相机5189可以设有放大率调整功能、焦距调整功能、图像捕获方向调整功能等。照明系统5191在手术室的天花板上提供,并至少照射外科手术操作者5181的手周围的区域。照明系统5191可以能够在照射光量、照射光的波长(颜色)、光照射方向等方面适当地进行调整。
内窥镜外科手术系统5113、病床5183、天花板相机5187、外科手术相机5189和照明系统5191经由视听控制器5107和手术室控制装置5109彼此连接,如图22中所示(图24中未示出),使得它们可以彼此协作。中央操纵面板5111在手术室中提供,并且如上面所提到的,用户可以适当地经由中央操纵面板5111操作存在于手术室中的这些装置。
在下文中,详细解释内窥镜外科手术系统5113的配置。如图所示,内窥镜外科手术系统5113由内窥镜5115、其它外科手术工具5131、支撑内窥镜5115的支撑臂装置5141和其中安装有用于内窥镜外科手术的各种类型的装置的推车5151构成。
在内窥镜外科手术中,代替切开腹壁的剖腹手术,通过腹壁放置多个称为套管针5139a至5139d的圆柱形开口工具。然后,内窥镜5115的镜筒5117和其它外科手术工具5131通过套管针5139a至5139d插入患者5185的体腔中。在所示的示例中,气腹管5133、能量治疗工具5135和镊子5137作为那些外科手术工具5131插入患者5185的体腔中。此外,能量治疗工具5135是用于借助于高频电流或超声振动执行组织切口和剥离、血管密封等的治疗工具。但是,应当注意的是,所示的外科手术工具5131仅仅是示例,并且作为外科手术工具5131,可以使用例如通常用在内窥镜外科手术中的各种类型的外科手术工具,诸如镊子或牵开器。
由内窥镜5115捕获的患者5185的体腔中的外科手术操作部位的图像显示在显示装置5155上。外科手术操作者5181执行诸如切除患病区域的治疗,例如,通过使用能量治疗工具5135和镊子5137,同时实时地查看在显示装置5155上显示的外科手术操作部位的图像。要注意的是,虽然省略了其图示,但是在外科手术期间由外科手术操作者5181、助手等支撑气腹管5133、能量处理工具5135和镊子5137。
(支撑臂装置)
支撑臂装置5141包括从基座部分5143延伸的臂部5145。在所示的示例中,臂部分5145由关节部分5147a、5147b和5147c以及连杆5149a和5149b构成,并且通过臂控制装置5159的控制来驱动。内窥镜5115由臂部分5145支撑,并且内窥镜5115的位置和姿势由臂部分5145控制。由此,可以实现内窥镜5115的稳定的位置固定。
(内窥镜)
内窥镜5115由镜筒5117和连接到镜筒5117的基端的相机5119构成,镜筒5117的从尖端起具有预定长度的部分区域插入患者5185的体腔中。虽然在所示的示例中图示了被配置为具有硬镜筒5117的所谓硬反射镜的内窥镜5115,但是内窥镜5115可以被配置为具有软镜筒5117的所谓软反射镜。
镜筒5117的尖端设有开口部分,物镜装配到该开口部分中。内窥镜5115与光源装置5157连接,并且由光源装置5157生成的光通过在镜筒5117内部延伸的光导被引导到镜筒的尖端,并且经由物镜朝着患者5185的体腔中的观察目标照射。要注意的是,内窥镜5115可以是直视镜,或者可以是倾斜视镜或侧视镜。
相机头5119的内部空间设有光学系统和图像捕获元件,并且来自观察目标的反射光(观察光)通过光学系统集中到图像捕获元件上。图像捕获元件执行观察光的光电转换,并且生成与观察光对应的电子信号,即,与观察图像对应的图像信号。图像信号作为RAW数据被发送到相机控制单元(CCU)5153。要注意的是,相机头5119具有通过适当地驱动其光学系统来调整放大率和焦距的功能。
要注意的是,例如,相机头5119可以设有多个图像捕获元件,以便支持立体视图(3D显示)等。在这种情况下,镜筒5117内的空间设有多个中继光学系统,用于将观察光引导到多个图像捕获元件中的每一个。
(安装在推车中的各种类型的装置)
CCU 5153由CPU(中央处理单元)、GPU(图形处理单元)等构成,并且执行内窥镜5115和显示装置5155的操作的整体控制。具体而言,CCU 5153对从相机头5119接收的图像信号执行各种类型的图像处理以显示基于图像信号的图像,诸如显影处理(去马赛克)。CCU5153将已经经受图像处理的图像信号提供给显示装置5155。此外,CCU 5153与图22中所示的视听控制器5107连接。CCU 5153还将已经经受图像处理的图像信号提供给视听控制器5107。此外,CCU 5153将控制信号发送到相机头5119并控制其驱动。控制信号可以包括关于图像捕获条件的信息,诸如放大率或焦距。关于图像捕获条件的信息可以经由输入装置5161输入,或者可以经由上述中央操纵面板5111输入。
在CCU 5153的控制下,显示装置5155显示基于已经经受CCU5153的图像处理的图像信号的图像。如果内窥镜5115支持针对4K(水平像素数3840×垂直像素数2160)、8K(水平像素数7680×垂直像素数4320)等的高分辨率图像捕获,和/或支持3D显示,那么可以使用的显示装置5155是能够进行高分辨率显示和/或能够进行3D显示的显示装置,与任一种情况或两个情况对应。如果显示装置支持针对4K、8K等的高分辨率图像捕获,那么通过使用尺寸为55英寸或更大的显示装置作为显示装置5155,可以获得更高程度的沉浸感。此外,可以根据用途提供具有不同分辨率或尺寸的多个显示装置5155。
光源装置5157例如由诸如LED(发光二极管)之类的光源构成,并且向内窥镜5115供给当捕获外科手术操作部位的图像时要使用的照射光。
臂控制装置5159例如由诸如CPU之类的处理器构成,并且根据预定程序操作,从而根据预定的控制方式控制支撑臂装置5141的臂部分5145的驱动。
输入装置5161是用于内窥镜外科手术系统5113的输入接口。用户可以经由输入装置5161向内窥镜外科手术系统5113输入各种类型的信息和输入指令。例如,用户经由输入装置5161输入各种类型的外科手术相关信息,诸如患者的身体信息或关于外科手术的外科手术方法的信息。此外,例如,用户经由输入装置5161输入:驱动臂部分5145的指令;更改内窥镜5115的图像捕获条件的指令(照射光的类型、放大率、焦距等);驱动能量处理工具5135的指令;等等。
输入装置5161的类型不受限制,而是输入装置5161可以是各种类型的已知输入装置。可以应用的输入装置5161包括例如鼠标、键盘、触摸面板、开关、脚踏开关5171和/或杠杆。如果触摸面板用作输入装置5161,那么触摸面板可以在显示装置5155的显示表面上提供。
可替代地,输入装置5161是例如由用户穿戴的设备,诸如眼镜型可穿戴设备或HMD(头戴式显示器),并且根据这些设备检测到的用户手势或凝视执行各种类型的输入。此外,输入装置5161包括可以检测用户的运动的相机,并且根据在由相机捕获的视频中检测到的用户的手势或注视来执行各种类型的输入。此外,输入装置5161包括可以获取用户语音的声音的麦克风,并且经由麦克风基于声音执行各种类型的输入。以这种方式,通过输入装置5161被配置为能够以非接触方式接收各种类型的信息,特别是对于属于干净区域的用户(例如,外科手术操作员5181)来说变得有可能以非接触方式操纵属于不干净区域的器械。此外,由于用户变得有可能在不拿着他/她具有的外科手术工具的情况下操纵器械,因此改善了用户的便利性。
治疗工具控制装置5163控制能量治疗工具5135的驱动,用于组织烧灼、切口、血管密封等。气动装置5165经由气腹管5133将气体输送到患者5185的体腔中,以便为体腔充气,以确保内窥镜5115具有视野并确保存在外科手术操作者的工作空间。记录器5167是能够记录各种类型的外科手术相关信息的装置。打印机5169是能够以各种类型的格式(诸如文本、图像或图形)打印各种类型的外科手术相关信息的装置。
在下文中,更详细地解释内窥镜外科手术系统5113的特定特征配置。
(支撑臂装置)
支撑臂装置5141包括作为基座的基座部分5143和从基座部分5143延伸的臂部分5145。虽然在所示的示例中臂部分5145由多个关节部分5147a、5147b和5147c以及通过关节部分5147b互连的多个连杆5149a和5149b构成,但是臂部分5145的构造在图24中为了简化而以简化形式示出。实际上,关节部分5147a至5147c和连杆5149a和5149b的形状、数量和布置,关节部分5147a至5147c的旋转轴线的方向等可以适当地设置,以便获得臂部分5145的期望的自由度。例如,臂部分5145可以适当地被配置为具有六个或更多个自由度。由此,由于变得有可能在臂部分5145的可移动范围内自由地移动内窥镜5115,因此变得有可能将内窥镜5115的镜筒5117从期望的方向插入患者5185的体腔内。
关节部分5147a至5147c设有致动器,并且关节部分5147a至5147c被构造成通过致动器的驱动可绕预定的旋转轴线旋转。通过由臂控制装置5159控制致动器的驱动,控制关节部分5147a至5147c中的每一个的旋转角度,并且控制臂部分5145的驱动。由此,可以实现内窥镜5115的位置和姿势控制。此时,臂控制装置5159可以通过各种类型的已知控制方式(诸如力控制或位置控制)控制臂部分5145的驱动。
例如,通过外科手术操作者5181经由输入装置5161(包括脚踏开关5171)适当地执行操纵输入,臂部分5145的驱动可以由臂控制装置5159根据操纵输入适当地控制,并且可以控制内窥镜5115的位置和姿势。在臂部分5145的尖端处的内窥镜5115通过控制从给定位置移动到另一个给定位置之后,内窥镜5115可以固定地支撑在移动之后的位置。要注意的是,臂部分5145可以以所谓的主-从方式操纵。在这种情况下,用户可以经由安装在远离手术室的地方的输入装置5161远程操纵臂部分5145。
此外,如果施加力控制,那么臂控制装置5159可以执行所谓的动力辅助控制,其从用户接收外力并且驱动关节部分5147a至5147c中的每一个的致动器,以便根据外力平滑地移动臂部分5145。由此,当用户在直接接触臂部分5145的同时移动臂部分5145时,他/她可以用相对弱的力移动臂部分5145。因而,变得有可能更直观地并且以更简单的操纵来移动内窥镜5115,从而提高用户的便利性。
这里,通常,内窥镜5115由在内窥镜外科手术中称为scopist的医生支撑。与此相反,通过使用支撑臂装置5141,变得有可能更加可靠地固定内窥镜5115的位置而无需人力,因此变得有可能稳定地获得外科手术操作部位的图像并且平稳地执行外科手术。
要注意的是,臂控制装置5159不一定提供给推车5151。此外,臂控制装置5159不一定是一个装置。例如,臂控制装置5159可以提供给支撑臂装置5141的臂部分5145的各个关节部分5147a至5147c中的每一个,并且臂部分5145的驱动控制可以通过彼此协作的多个臂控制装置5159实现。
(光源装置)
光源装置5157向内窥镜5115供以在捕获外科手术操作部位的图像时使用的照射光。光源装置5157例如由白色光源构成,其由LED、激光光源或它们的组合构成。此时,由于如果白色光源由RGB激光光源的组合构成,那么可以高精度地控制每种颜色(每个波长)的输出强度和输出定时,可以在光源装置5157处调整捕获的图像的白平衡。此外,在这种情况下,还有可能通过以时分方式用来自每个RGB激光光源的激光照射观察目标,以时分方式捕获与RGB中的每一个对应的图像,并与照射定时同步地控制相机头5119的图像捕获元件的驱动。根据该方法,即使没有向图像捕获元件提供滤色器,也可以获得彩色图像。
此外,可以控制光源装置5157的驱动,使得每当经过预定时间长度时更改输出光的强度。通过与光强度的更改定时同步地控制相机头5119的图像捕获元件的驱动、以时分方式获取图像,并合成图像,有可能生成没有所谓的压碎阴影或剪裁白色的高动态范围图像。
此外,光源装置5157可以被配置为能够提供与特殊光观察对应的预定波段的光。在特殊的光学观察中,例如,与在正常观察时使用的照射光(即,白光)相比,所谓的窄带成像(其中利用身体组织中光吸收的波长依赖性来捕获诸如粘膜表面层中的血管之类的预定组织的图像)通过用窄带中的光照射来获得高对比度。可替代地,在特殊光观察中,可以执行荧光观察,以通过使用通过用激发光照射而生成的荧光来获得图像。在荧光观察中:用激发光照射身体组织,并且观察来自身体组织的荧光(自荧光观察);通过将诸如吲哚菁绿(ICG)之类的试剂局部注射到身体组织中,并用与试剂的荧光波长对应的激发光照射身体组织,获得荧光图像;等等。光源装置5157可以被配置为能够供给与这种特殊光观察对应的窄带光和/或激发光。
(相机头和CCU)
参考图25,更详细地解释内窥镜5115的相机头5119和CCU 5153的功能。图25是图示图24中所示的相机头5119和CCU 5153的示例性功能配置的框图。
如通过参考图25可以看出的,相机头5119具有作为其功能的透镜单元5121、图像捕获单元5123、驱动单元5125、通信单元5127和相机头控制单元5129。此外,CCU 5153具有作为其功能的通信单元5173、图像处理单元5175和控制单元5177。相机头5119和CCU 5153通过发送电缆5179双向通信地彼此连接。
首先,解释相机头5119的功能配置。透镜单元5121是在与镜筒5117连接的部分处提供的光学系统。从镜筒5117的尖端取得的观察光被引导到相机头5119,并进入透镜单元5121。透镜单元5121由包括变焦透镜和聚焦透镜的多个透镜的组合构成。透镜单元5121具有被调整以将观察光集中到图像捕获单元5123的图像捕获元件的接收表面上的光学特性。此外,变焦透镜和聚焦透镜被配置为在光轴上具有可以移动以调整捕获的图像的放大率和焦点的位置。
图像捕获单元5123由图像捕获元件构成,并且布置在透镜单元5121的下游。已经通过透镜单元5121的观察光集中在图像捕获元件的接收表面上,并且通过光电转换生成与观察图像对应的图像信号。由图像捕获单元5123生成的图像信号被提供给通信单元5127。
用于配置图像捕获单元5123的图像捕获元件是例如CMOS(互补金属氧化物半导体)图像传感器,以及具有拜耳阵列并且能够捕获彩色图像的图像捕获元件。要注意的是,所使用的图像捕获元件可以支持例如以4K或更高的高分辨率捕获图像。如果以高分辨率获得外科手术操作部位的图像,那么外科手术操作者5181可以更详细地知道外科手术操作部位看起来如何,并且变得有可能更顺利地进行外科手术。
此外,构成图像捕获单元5123的图像捕获元件被配置为具有一对用于获取与3D显示对应的右眼图像信号和左眼图像信号的图像捕获元件。通过执行3D显示,外科手术操作者5181可以更准确地知道外科手术操作部位处的活体组织的深度。要注意的是,如果图像捕获单元5123由多个板构成,那么透镜单元5121也在与各个图像捕获元件对应的多个系统中提供。
此外,图像捕获单元5123不必提供给相机头5119。例如,图像捕获单元5123可以紧接在镜筒5117内的物镜之后提供。
驱动单元5125由致动器构成,并且在相机头控制单元5129的控制下,驱动单元5125使透镜单元5121的变焦透镜和聚焦透镜沿着光轴移动预定距离。由此,可以适当地调整由图像捕获单元5123捕获的图像的放大率和焦点。
通信单元5127由用于向CCU 5153发送和从CCU 5153接收各种类型的信息的通信装置构成。通信单元5127经由发送电缆5179将从图像捕获单元5123获得的图像信号作为RAW数据发送到CCU 5153。此时,为了以低等待时间显示外科手术操作部位的捕获的图像,优选地通过光通信发送图像信号。这是因为,由于外科手术操作者5181在外科手术时在观察捕获的图像上患病区域的状态的同时执行手术,因此需要以最高可能程度实时显示外科手术操作部位的运动图像以执行更安全和更可靠的外科手术。如果执行光通信,那么通信单元5127设有将电子信号转换成光信号的光电转换模块。在通过光电转换模块转换成光信号之后,图像信号经由发送电缆5179发送到CCU 5153。
此外,通信单元5127从CCU 5153接收用于控制相机头5119的驱动的控制信号。例如,控制信号包括关于图像捕获条件的信息,诸如指示捕获的图像的帧速率被指定的信息、指示图像捕获时的曝光值被指定的信息,和/或指示捕获的图像的放大率和焦点被指定的信息。通信单元5127将接收到的控制信号提供给相机头控制单元5129。要注意的是,来自CCU 5153的控制信号也可以通过光通信发送。在这种情况下,通信单元5127设有光电转换模块,该光电转换模块将光信号转换成电子信号,并且在通过光电转换模块转换成电子信号之后,将控制信号提供给相机头控制单元5129。
要注意的是,基于所获取的图像信号,由CCU 5153的控制单元5177自动设置上面解释的图像捕获条件,诸如帧速率或曝光值、放大率或焦点。即,在内窥镜5115中实现所谓的AE(自动曝光)功能、AF(自动聚焦)功能和AWB(自动白平衡)功能。
相机头控制单元5129基于经由通信单元5127接收的来自CCU 5153的控制信号来控制相机头5119的驱动。例如,相机头控制单元5129基于指示捕获的图像的帧速率被指定的信息和/或指示图像捕获时的曝光被指定的信息来控制图像捕获单元5123的图像捕获元件的驱动。此外,例如,相机头控制单元5129基于指示捕获的图像的放大率和焦点被指定的信息来经由驱动单元5125适当地移动透镜单元5121的变焦透镜和聚焦透镜。相机头控制单元5129还可以具有存储用于识别镜筒5117和相机5119的信息的功能。
要注意的是,通过将诸如透镜单元5121和图像捕获单元5123之类的配置布置在高度气密且防水的密封结构中,可以使相机头5119耐高压灭菌处理。
接下来,解释CCU 5153的功能配置。通信单元5173由用于向相机头5119发送和从相机头5119接收各种类型的信息的通信装置构成。通信单元5173经由发送电缆5179接收从相机头5119发送的图像信号。此时,如上面所解释的,可以通过光通信适当地发送图像信号。在这种情况下,与光通信对应,通信单元5173设有光电转换模块,该光电转换模块将光信号转换成电子信号。通信单元5173将转换成电子信号的图像信号提供给图像处理单元5175。
此外,通信单元5173将用于控制相机头5119的驱动的控制信号发送到相机头5119。控制信号也可以通过光通信发送。
图像处理单元5175对作为的RAW数据从相机头5119发送的图像信号执行各种类型的图像处理。例如,图像处理包括各种类型的已知信号处理,诸如显影处理、用于增强图像相等性的处理(频带增强、超分辨率处理、NR(降噪)处理和/或抖动校正处理等)和/或放大处理(电子变焦处理)。此外,图像处理单元5175对用于执行AE、AF和AWB的图像信号执行检测处理。
图像处理单元5175由诸如CPU和GPU之类的处理器构成,并且通过处理器根据预定程序操作,可以执行上面提到的图像处理或检测处理。要注意的是,如果图像处理单元5175由多个GPU构成,那么图像处理单元5175适当地划分与图像信号相关的信息,并使用多个GPU并行地执行图像处理。
控制单元5177执行与由内窥镜5115对外科手术操作部位进行图像捕获相关的各种类型的控制,以及捕获的图像的显示。例如,控制单元5177生成用于控制相机头5119的驱动的控制信号。此时,如果用户已经输入了图像捕获条件,那么控制单元5177基于用户的输入生成控制信号。可替代地,如果在内窥镜5115中实现AE功能、AF功能和AWB功能,那么控制单元5177根据图像处理单元5175的检测处理的结果适当地计算最佳曝光值、焦距和白平衡,并生成控制信号。
此外,控制单元5177使显示装置5155基于已经经受图像处理单元5175进行的图像处理的图像信号来显示外科手术操作部位的图像。此时,控制单元5177通过使用各种类型的图像识别技术识别外科手术操作部位的图像中的各种类型的对象。例如,通过检测包括在外科手术操作部位的图像中的对象的边缘形状、颜色等,控制单元5177可以识别诸如镊子之类的外科手术工具、特定生物体部位、出血、在使用能量治疗工具5135时的雾等。当在显示装置5155上显示外科手术操作部位的图像时,控制单元5177通过使用识别的结果将各种类型的外科手术辅助信息叠加在外科手术操作部位的图像上。通过将外科手术辅助信息叠加并呈现给外科手术操作者5181,变得有可能更安全且可靠地进行外科手术。
连接相机头5119和CCU 5153的发送电缆5179是支持电子信号通信的电子信号电缆、支持光通信的光纤或由它们形成的复合电缆。
这里,虽然在所示示例中,使用发送电缆5179执行有线通信,但是可以无线地执行相机头5119和CCU 5153之间的通信。如果它们之间的通信是无线地执行的,那么变得不必将发送电缆5179放置在手术室中,因此有可能解决手术室中的医务人员的移动被发送电缆5179妨碍的情况。
以上解释了可以向其应用根据本公开的技术的手术室系统5100的一个示例。要注意的是,虽然在这里解释的示例中,向其应用手术室系统5100的医疗系统是内窥镜外科手术系统5113,但是手术室系统5100的配置不限于该示例。例如,代替内窥镜外科手术系统5113,手术室系统5100可以应用于检查软内窥镜系统或显微外科系统。
例如,根据本公开的技术可以应用于上面解释的配置当中的视听控制器5107或中央操纵面板5111。
如上面所提到的,视听控制器5107控制提供给手术室系统5100的显示信息调度装置(诸如装置组5101、天花板相机5187和外科手术相机5189)、显示信息输出装置(诸如显示装置5103A至5103D)以及还有记录/重放装置(诸如记录器5105)的操作,并且附加地监视这些各个装置的通信状况。
通过视听控制器5107监视获得的信息显示在中央操纵面板5111上。在中央操纵面板5111上,例如,显示指示上面参考图9至图20解释的各组通信状况的信息。
通过监视这种显示信息,例如,即使发生诸如特定组的图像中断之类的紧急情况,也变得有可能基于中央操纵面板5111上的显示信息立即确定发生通信错误的位置等。此外,通过执行各组通信切换,也变得有可能迅速处置该情况。
[8.本公开的配置的综述]
以上参考特定实施例详细解释了本公开的实施例。但是,显而易见的是,本领域技术人员可以在不脱离本公开的主旨的范围内修改实施例或实施例中的替换构思。即,本发明是以说明的形式公开的,并且这种公开不应当被解释为限制。为了理解本公开的要点,应当考虑权利要求的部分。
要注意的是,本说明书中公开的技术可以具有如下说明的配置。
(1)一种信息处理装置,包括:
数据处理单元,其生成使得能够识别包括多条发送数据的发送数据组和包括多条接收数据的接收数据组之间的组间通信的数据的显示信息。
(2)根据(1)所述的信息处理装置,其中数据处理单元生成指示发送数据组和接收数据组的组间连接关系的显示信息。
(3)根据(1)所述的信息处理装置,其中数据处理单元生成具有连接线的显示信息,该连接线使得能够识别包括发送数据组中包括的多条发送数据和接收数据组中包括的多条接收数据中的各条通信数据的通信状态。
(4)根据(3)所述的信息处理装置,其中连接线包括使得能够对于各条通信数据识别是正在执行通信还是通信被停止的连接线。
(5)根据(1)至(4)中任一项所述的信息处理装置,其中数据处理单元生成包括对于各条通信数据指示通信数据内容的通信数据标识符的显示信息。
(6)根据(1)至(5)中任一项所述的信息处理装置,其中数据处理单元生成使得能够识别关于各条通信数据的错误的显示信息。
(7)根据(1)至(6)中任一项所述的信息处理装置,其中数据处理单元生成包括警告信息的显示信息,该警告信息对于各条通信数据使得能够识别错误内容。
(8)根据(7)所述的信息处理装置,其中数据处理单元生成显示信息,其中警告信息的显示位置被设置在指示发生错误的仪器的发送和接收数据所属的数据组的组图标附近。
(9)根据(7)所述的信息处理装置,其中,如果在数据发送侧发生了错误,那么数据处理单元生成其中警告信息的显示位置被设置在发送数据组侧的组图标侧附近的显示信息,而如果在数据接收侧发生了错误,那么数据处理单元生成其中警告信息的显示位置被设置在接收数据组侧的组图标侧附近的显示信息。
(10)根据(1)至(9)中任一项所述的信息处理装置,其中数据处理单元生成用于选择作为显示目标的通信数据的组的组选择部分的显示信息。
(11)根据(10)中任一项所述的信息处理装置,其中
组选择部分包括设备列表,该设备列表包括对构成发送数据组或接收数据组的通信数据执行发送或接收处理的网络连接的仪器的仪器列表,以及
数据处理单元根据针对设备列表的设备选择信息来选择选择设备的发送数据或接收数据所属的发送数据组或接收数据组作为显示目标。
(12)根据(10)或(11)所述的信息处理装置,其中
组选择部分包括组列表,该组列表包括发送数据组或接收数据组的标识符,以及
数据处理单元根据针对组列表的组选择信息来选择选择组作为显示目标。
(13)根据(1)至(12)中任一项所述的信息处理装置,其中数据处理单元生成包括细节信息显示部分的显示信息,该细节信息显示部分使得以下每条细节信息能够可切换显示:
(a)设备细节信息,其包括关于执行通信数据的发送或接收处理的网络连接的仪器的各仪器的细节信息;
(b)组细节信息,其包括关于发送数据组或者接收数据组的各组的细节信息;以及
(c)终端细节信息,其包括关于在网络连接的仪器之间通信的数据中的发送数据或者接收数据的每条通信数据的发送单元或接收单元的各单元的细节信息。
(14)根据(13)所述的信息处理装置,其中包括关于网络连接的仪器的各仪器的细节信息的设备细节信息包括关于设备错误的细节信息。
(15)根据(13)或(14)所述的信息处理装置,其中组细节信息包括关于组中包括的通信数据的细节信息。
(16)根据(13)至(15)中任一项所述的信息处理装置,其中终端细节信息包括终端错误细节信息,该终端错误细节信息包括关于对于每条通信数据的发送单元或接收单元的各单元的错误信息。
(17)根据(1)至(16)中任一项所述的信息处理装置,其中,如果在不同于使得能够识别通信数据的显示信息的其它显示信息在显示单元上显示的时候发生了通信数据错误,那么数据处理单元执行使显示单元上的显示信息转变成使得能够识别通信数据的显示信息的处理。
(18)根据(1)至(17)中任一项所述的信息处理装置,其中
构成发送数据组的所述多条发送数据包括由一个或多个发送装置发送的数据,以及
构成接收数据组的所述多条接收数据包括由一个或多个接收装置接收的数据。
(19)一种在信息处理装置上执行的信息处理方法,该信息处理方法包括:
由信息处理装置的数据处理单元生成使得能够识别包括多条发送数据的发送数据组和包括多条接收数据的接收数据组之间的组间通信的数据的显示信息。
(20)一种程序,该程序使得在信息处理装置处执行信息处理,该程序包括:
使得信息处理装置的数据处理单元生成使得能够识别包括多条发送数据的发送数据组和包括多条接收数据的接收数据组之间的组间通信的数据的显示信息。
此外,说明书中解释的一系列处理可以由硬件、软件或它们两者的组合配置来执行。如果执行软件处理,那么可以在其中结合专用硬件的计算机的存储器中安装并执行其中记录处理序列的程序,或者可以在能够执行各种类型的处理的通用计算机的通用计算机中安装并执行程序。例如,程序可以预先记录在记录介质中。除了从记录介质安装在计算机中之外,可以经由诸如LAN(局域网)或互联网之类的网络接收程序,并且可以将程序安装在诸如内置硬盘之类的记录介质中。
要注意的是,说明书中描述的各种类型的处理不仅可以根据本描述按时间次序执行,而且可以根据需要或者取决于执行处理的装置的处理能力并行或单独地执行。此外,本说明书中的系统是多个装置的逻辑集合配置,并且不限于其中具有单独配置的装置在单个壳体中的配置。
[工业适用性]
如上面已经解释的,根据本公开的一个实施例的配置,变得有可能向用户(监视器)提供指示网络连接的仪器的通信状况的显示信息,并且使得有可能容易地知道发生错误的位置、错误内容、错误的影响范围等。
具体而言,生成使得能够识别由多条发送数据构成的发送数据组和由多条接收数据构成的接收数据组之间的组间通信的数据的显示信息。信息被显示,使得变得有可能识别每组的多条通信数据当中的每条数据的通信是在进行还是停止。此外,在发生错误时,在连接线上显示包括错误级别或内容的警告信息。
利用这种配置,变得有可能向用户(监视器)提供指示网络连接的仪器的通信状况的显示信息,并且使得有可能容易地知道发生错误的位置、错误内容、错误的影响范围等。
[标号列表]
10 信息处理系统
20 信息处理装置(系统监视装置)
21 系统控制器
30 网络
40 发送/接收装置
71至73 发送数据组
91至93 接收数据组
110 组选择部分
111 装置(设备)信息显示区域
112 组信息子显示区域
113 装置(设备)搜索部分
114 装置(设备)列表显示部分
115 组搜索部分
116 组列表显示部分
120 连接信息显示部分
121 发送数据组(SG)显示区域
122 接收数据组(DG)显示区域
123 连接信息显示区域
124 组图标
125 通信终端图标
126 通信数据标识符
127 警告信息
130 细节信息显示部分
131 通信状态显示区域
132 装置(设备)属性信息显示区域
133 装置(设备)终端信息显示区域
134 装置(设备)错误信息显示区域
141 组标识符显示区域
142 属于组的通信数据显示区域
151 终端名称显示区域
152 终端设置装置(设备)名称显示区域
153 终端通信信息显示区域
154 终端属性信息显示区域
155 终端错误信息显示区域
201 处理选择列表
301 CPU
302 ROM
303 RAM
304 总线
305 输入/输出接口
306 输入单元
307 输出单元
308 存储单元
309 通信单元
310 驱动器
311 可移动介质

Claims (20)

1.一种信息处理装置,包括:
数据处理单元,其生成使得能够识别包括多条发送数据的发送数据组和包括多条接收数据的接收数据组之间的组间通信的数据的显示信息。
2.如权利要求1所述的信息处理装置,其中数据处理单元生成指示发送数据组和接收数据组的组间连接关系的显示信息。
3.如权利要求1所述的信息处理装置,其中数据处理单元生成具有连接线的显示信息,该连接线使得能够识别包括发送数据组中包括的多条发送数据和接收数据组中包括的多条接收数据中的各条通信数据的通信状态。
4.如权利要求3所述的信息处理装置,其中连接线包括使得能够对于各条通信数据识别是正在执行通信还是通信被停止的连接线。
5.如权利要求1所述的信息处理装置,其中数据处理单元生成包括对于各条通信数据指示通信数据内容的通信数据标识符的显示信息。
6.如权利要求1所述的信息处理装置,其中数据处理单元生成使得能够识别关于各条通信数据的错误的显示信息。
7.如权利要求1所述的信息处理装置,其中数据处理单元生成包括警告信息的显示信息,该警告信息对于各条通信数据使得能够识别错误内容。
8.如权利要求7所述的信息处理装置,其中数据处理单元生成显示信息,其中警告信息的显示位置被设置在指示发生错误的仪器的发送和接收数据所属的数据组的组图标附近。
9.如权利要求7所述的信息处理装置,其中,如果在数据发送侧发生了错误,那么数据处理单元生成其中警告信息的显示位置被设置在发送数据组侧的组图标侧附近的显示信息,而如果在数据接收侧发生了错误,那么数据处理单元生成其中警告信息的显示位置被设置在接收数据组侧的组图标侧附近的显示信息。
10.如权利要求1所述的信息处理装置,其中数据处理单元生成用于选择作为显示目标的通信数据的组的组选择部分的显示信息。
11.如权利要求10所述的信息处理装置,其中
组选择部分包括设备列表,该设备列表包括对构成发送数据组或接收数据组的通信数据执行发送或接收处理的网络连接的仪器的仪器列表,以及
数据处理单元根据针对设备列表的设备选择信息来选择选择设备的发送数据或接收数据所属的发送数据组或接收数据组作为显示目标。
12.如权利要求10所述的信息处理装置,其中
组选择部分包括组列表,该组列表包括发送数据组或接收数据组的标识符,以及
数据处理单元根据针对组列表的组选择信息来选择选择组作为显示目标。
13.如权利要求1所述的信息处理装置,其中数据处理单元生成包括细节信息显示部分的显示信息,该细节信息显示部分使得能够以下每条细节信息的可切换显示:
(a)设备细节信息,其包括关于执行通信数据的发送或接收处理的网络连接的仪器的各仪器的细节信息;
(b)组细节信息,其包括关于发送数据组或者接收数据组的各组的细节信息;以及
(c)终端细节信息,其包括关于在网络连接的仪器之间通信的数据中的发送数据或者接收数据的每条通信数据的发送单元或接收单元的各单元的细节信息。
14.如权利要求13所述的信息处理装置,其中包括关于网络连接的仪器的各仪器的细节信息的设备细节信息包括关于设备错误的细节信息。
15.如权利要求13所述的信息处理装置,其中组细节信息包括关于组中包括的通信数据的细节信息。
16.如权利要求13所述的信息处理装置,其中终端细节信息包括终端错误细节信息,该终端错误细节信息包括关于对于每条通信数据的发送单元或接收单元的各单元的错误信息。
17.如权利要求1所述的信息处理装置,其中,如果在不同于使得能够识别通信数据的显示信息的其它显示信息在显示单元上显示的时候发生了通信数据错误,那么数据处理单元执行使显示单元上的显示信息转变成使得能够识别通信数据的显示信息的处理。
18.如权利要求1所述的信息处理装置,其中
构成发送数据组的所述多条发送数据包括由一个或多个发送装置发送的数据,以及
构成接收数据组的所述多条接收数据包括由一个或多个接收装置接收的数据。
19.一种在信息处理装置上执行的信息处理方法,该信息处理方法包括:
由信息处理装置的数据处理单元生成使得能够识别包括多条发送数据的发送数据组和包括多条接收数据的接收数据组之间的组间通信的数据的显示信息。
20.一种程序,该程序使得在信息处理装置处执行信息处理,该程序包括:
使得信息处理装置的数据处理单元生成使得能够识别包括多条发送数据的发送数据组和包括多条接收数据的接收数据组之间的组间通信的数据的显示信息。
CN201880024450.0A 2017-04-18 2018-03-27 信息处理装置,信息处理方法及程序 Active CN110495183B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017082140 2017-04-18
JP2017-082140 2017-04-18
PCT/JP2018/012520 WO2018193799A1 (ja) 2017-04-18 2018-03-27 情報処理装置、および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN110495183A true CN110495183A (zh) 2019-11-22
CN110495183B CN110495183B (zh) 2022-06-14

Family

ID=63856519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880024450.0A Active CN110495183B (zh) 2017-04-18 2018-03-27 信息处理装置,信息处理方法及程序

Country Status (5)

Country Link
US (1) US11032622B2 (zh)
EP (1) EP3614684B1 (zh)
JP (1) JPWO2018193799A1 (zh)
CN (1) CN110495183B (zh)
WO (1) WO2018193799A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3573069A1 (en) * 2018-05-21 2019-11-27 Esaote S.p.A. Ultrasound diagnostic system with multimedia information distribution system
GB2580665A (en) * 2019-01-22 2020-07-29 Sony Corp A method, apparatus and computer program
JP7427865B2 (ja) * 2019-02-22 2024-02-06 ブラザー工業株式会社 情報表示プログラム
US11455900B2 (en) * 2019-02-26 2022-09-27 Surgtime, Inc. System and method for teaching a surgical procedure
US11968408B2 (en) * 2019-02-26 2024-04-23 Surgtime, Inc. System and method for teaching a surgical procedure

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10229508A (ja) * 1997-02-17 1998-08-25 Sony Corp 映像音声機器エラー監視システム
US20090125953A1 (en) * 2007-11-08 2009-05-14 At&T Knowledge Ventures, L.P. Systems, methods and graphical user interfaces for monitoring an internet protocol television (iptv) network
CN101498998A (zh) * 2008-02-01 2009-08-05 佳能株式会社 通知方法、管理设备和客户设备
CN102117206A (zh) * 2009-12-30 2011-07-06 捷达世软件(深圳)有限公司 图标控件动态生成系统及方法
CN102331836A (zh) * 2010-06-02 2012-01-25 索尼公司 信息处理设备、信息处理方法和程序
CN102932169A (zh) * 2012-10-19 2013-02-13 烽火通信科技股份有限公司 一种可定制的网管系统告警图标显示方法
CN103577037A (zh) * 2012-07-20 2014-02-12 京瓷办公信息系统株式会社 信息处理装置以及显示方法
US20160057733A1 (en) * 2014-08-22 2016-02-25 Grass Valley USA, LLC Systems and methods for using graph modeling to manage, monitor, and control broadcast and multimedia systems
WO2017034917A1 (en) * 2015-08-21 2017-03-02 Cisco Technology, Inc. Object-relation user interface for viewing security configurations of network security devices

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3160017B2 (ja) * 1991-08-28 2001-04-23 株式会社日立製作所 網管理表示装置
JP4560154B2 (ja) * 1999-10-04 2010-10-13 キヤノン株式会社 データ処理装置、データ処理方法、並びにコンピュータ読みとり可能な記録媒体
US7330886B2 (en) * 1999-10-27 2008-02-12 American Power Conversion Corporation Network appliance management
JP4636775B2 (ja) * 2002-10-15 2011-02-23 株式会社山武 ネットワーク監視システム
US7587675B2 (en) * 2006-02-28 2009-09-08 Microsoft Corporation Network map
US9225610B2 (en) * 2008-03-31 2015-12-29 Hitachi, Ltd. User interface providing information system topology presentation
US8650492B1 (en) * 2011-10-11 2014-02-11 Google Inc. System and method for page navigation visualization and analysis
US9817563B1 (en) * 2014-12-29 2017-11-14 Palantir Technologies Inc. System and method of generating data points from one or more data stores of data items for chart creation and manipulation
JP2016145871A (ja) * 2015-02-06 2016-08-12 パナソニックIpマネジメント株式会社 映像表示監視システム及びプログラム
JP6661310B2 (ja) * 2015-09-08 2020-03-11 キヤノン株式会社 情報共有システムおよび方法
US10862777B2 (en) * 2016-09-28 2020-12-08 Amazon Technologies, Inc. Visualization of network health information

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10229508A (ja) * 1997-02-17 1998-08-25 Sony Corp 映像音声機器エラー監視システム
US20090125953A1 (en) * 2007-11-08 2009-05-14 At&T Knowledge Ventures, L.P. Systems, methods and graphical user interfaces for monitoring an internet protocol television (iptv) network
CN101498998A (zh) * 2008-02-01 2009-08-05 佳能株式会社 通知方法、管理设备和客户设备
CN102117206A (zh) * 2009-12-30 2011-07-06 捷达世软件(深圳)有限公司 图标控件动态生成系统及方法
CN102331836A (zh) * 2010-06-02 2012-01-25 索尼公司 信息处理设备、信息处理方法和程序
CN103577037A (zh) * 2012-07-20 2014-02-12 京瓷办公信息系统株式会社 信息处理装置以及显示方法
CN102932169A (zh) * 2012-10-19 2013-02-13 烽火通信科技股份有限公司 一种可定制的网管系统告警图标显示方法
US20160057733A1 (en) * 2014-08-22 2016-02-25 Grass Valley USA, LLC Systems and methods for using graph modeling to manage, monitor, and control broadcast and multimedia systems
WO2017034917A1 (en) * 2015-08-21 2017-03-02 Cisco Technology, Inc. Object-relation user interface for viewing security configurations of network security devices

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NONE: ""iControl Headend End-to-End, Video Signal Path and QoE Monitoring"", 《GRASS VALLEY》 *

Also Published As

Publication number Publication date
WO2018193799A1 (ja) 2018-10-25
EP3614684A1 (en) 2020-02-26
EP3614684B1 (en) 2024-02-21
CN110495183B (zh) 2022-06-14
US11032622B2 (en) 2021-06-08
JPWO2018193799A1 (ja) 2020-06-11
US20200162794A1 (en) 2020-05-21
EP3614684A4 (en) 2020-02-26

Similar Documents

Publication Publication Date Title
CN110495183A (zh) 信息处理装置,信息处理方法及程序
JP6950707B2 (ja) 情報処理装置および方法、並びにプログラム
US11323679B2 (en) Multi-camera system, camera, processing method of camera, confirmation apparatus, and processing method of confirmation apparatus
US11694725B2 (en) Information processing apparatus and information processing method
US20220008156A1 (en) Surgical observation apparatus, surgical observation method, surgical light source device, and surgical light irradiation method
JPWO2018221041A1 (ja) 医療用観察システム及び医療用観察装置
US10694141B2 (en) Multi-camera system, camera, camera processing method, confirmation device, and confirmation device processing method
US11496662B2 (en) Image processing apparatus, image processing method, and image pickup system for displaying information associated with an image
WO2020213296A1 (ja) 信号処理装置、信号処理方法、プログラム及び指向性可変用システム
US11883120B2 (en) Medical observation system, medical signal processing device, and medical signal processing device driving method
WO2020075773A1 (en) A system, method and computer program for verifying features of a scene
US11910105B2 (en) Video processing using a blended tone curve characteristic
US20210160178A1 (en) System controller, network system, and method in network system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant