CN117178547A - 影像传送系统、影像传送方法以及影像接收装置 - Google Patents

影像传送系统、影像传送方法以及影像接收装置 Download PDF

Info

Publication number
CN117178547A
CN117178547A CN202180097379.0A CN202180097379A CN117178547A CN 117178547 A CN117178547 A CN 117178547A CN 202180097379 A CN202180097379 A CN 202180097379A CN 117178547 A CN117178547 A CN 117178547A
Authority
CN
China
Prior art keywords
data
video
image
unit
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180097379.0A
Other languages
English (en)
Inventor
三轮祥太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN117178547A publication Critical patent/CN117178547A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

影像传送系统(2)构成为具备：影像数据取得部(11)，取得表示由摄像机(1)拍摄的第1影像的第1影像数据；第1推理部(12)，将由影像数据取得部(11)取得的第1影像数据提供给第1学习模型(13)，从第1学习模型(13)取得作为与第1影像数据不同的数据的中间数据；数据发送部(14)，发送由第1推理部(12)取得的中间数据；数据接收部(15)，接收从数据发送部(14)发送的中间数据；以及第2推理部(16)，将由数据接收部(15)接收到的中间数据提供给第2学习模型(17)，从第2学习模型(17)取得表示摄像机(1)的拍摄时刻比第1影像超前从数据发送部(14)至数据接收部(15)的中间数据的传送时间以上的第2影像的预测影像的第2影像数据。

Description

影像传送系统、影像传送方法以及影像接收装置
技术领域
本公开涉及影像传送系统、影像传送方法以及影像接收装置。
背景技术
有时处于远距离地点的作业人员等针对进行某个作业的现场发出作业指示。例如，远距离地点的作业人员等有时观察显示于监视器的现场的影像，一边确认现场的状况，一边发出作业指示。作业指示是指，针对存在于现场的机器人、车辆、摄像机等机械指示动作。
存在将表示现场的影像的影像数据传送到远距离地点的影像传送系统。
另外，在专利文献1中公开了缩短从由发送部发送影像数据起至由接收部接收影像数据为止的影像数据的传送时间的技术。发送部实施针对影像数据的压缩处理，将压缩处理完毕的影像数据发送到接收部。
现有技术文献
专利文献1：日本特开2019-29746号公报
发明内容
在影像传送系统中，不可能使从现场至远距离地点的影像数据的传送时间成为零。如果影像数据的传送时间不是零，则在由处于远距离地点的作业人员等进行的现场的状况确认中产生延迟。如果在现场的状况确认中产生延迟，则由作业人员等发出的作业指示也会延迟，所以存在作业人员等有时发出不恰当的作业指示这样的课题。
即便是专利文献1公开的技术，也不可能使影像数据的传送时间成为零。因此，即使假设能够将该技术应用于影像传送系统，也无法解决上述课题。
本公开是为了解决如上所述的课题而完成的，其目的在于，得到一种能够支援用于处于远距离地点的作业人员等针对现场发出恰当的作业指示的影像传送系统以及影像传送方法。
本公开所涉及的影像传送系统具备：影像数据取得部，取得表示由摄像机拍摄的第1影像的第1影像数据；第1推理部，将由影像数据取得部取得的第1影像数据提供给第1学习模型，从第1学习模型取得作为与第1影像数据不同的数据的中间数据；数据发送部，发送由第1推理部取得的中间数据；数据接收部，接收从数据发送部发送的中间数据；以及第2推理部，将由数据接收部接收到的中间数据提供给第2学习模型，从第2学习模型取得表示摄像机的拍摄时刻比第1影像超前从数据发送部至数据接收部的中间数据的传送时间以上的第2影像的预测影像的第2影像数据。
根据本公开，能够支援用于处于远距离地点的作业人员等针对现场发出恰当的作业指示。
附图说明
图1是示出实施方式1所涉及的影像传送系统2的结构图。
图2是示出实施方式1所涉及的影像传送系统2所包括的影像发送装置3的硬件的硬件结构图。
图3是示出实施方式1所涉及的影像传送系统2所包括的影像接收装置5的硬件的硬件结构图。
图4是示出学习模型30的一个例子的说明图。
图5是通过软件或者固件等来实现影像发送装置3或者影像接收装置5的情况的计算机的硬件结构图。
图6是示出作为影像传送方法的一部分的影像发送装置3的处理过程的流程图。
图7是示出作为影像传送方法的一部分的影像接收装置5的处理过程的流程图。
图8是示出摄像机1的拍摄时刻相互不同的多个影像的说明图。
图9是示出实施方式2所涉及的影像传送系统2的结构图。
图10是示出实施方式2所涉及的影像传送系统2所包括的影像接收装置5的硬件的硬件结构图。
图11是示出实施方式3所涉及的影像传送系统2的结构图。
图12是示出实施方式3所涉及的影像传送系统2所包括的影像接收装置5的硬件的硬件结构图。
图13是示出包括实施方式4所涉及的影像接收装置5的影像传送系统2的结构图。
图14是示出图13所示的影像传送系统2所包括的影像发送装置3的硬件的硬件结构图。
图15是示出图13所示的影像传送系统2所包括的影像接收装置5的硬件的硬件结构图。
图16是示出实施方式1～4所涉及的其他影像传送系统2的结构图。
具体实施方式
以下，为了更详细地说明本公开，依照所附的附图来说明用于实施本公开的方式。
实施方式1
图1是示出实施方式1所涉及的影像传送系统2的结构图。
图2是示出实施方式1所涉及的影像传送系统2所包括的影像发送装置3的硬件的硬件结构图。
图3是示出实施方式1所涉及的影像传送系统2所包括的影像接收装置5的硬件的硬件结构图。
在图1中，摄像机1拍摄被摄体。被摄体是摄像机1的拍摄对象物，相应的是自然风景、花、昆虫、动物、人物、建筑物、道路、汽车、电车或者飞机等。
摄像机1将表示映现有被摄体的第1影像的第1影像数据输出到影像传送系统2。
影像传送系统2具备影像发送装置3、传送路4以及影像接收装置5。影像发送装置3是影像的发送侧，影像接收装置5是影像的接收侧。
影像发送装置3具备影像数据取得部11、第1推理部12以及数据发送部14。
传送路4是有线传送线路或者无线传送线路。
传送路4的一端与影像发送装置3连接，传送路4的另一端与影像接收装置5连接。
图1所示的影像传送系统2包括传送路4。但是，这只不过是一个例子，也可以是传送路4设置于影像传送系统2的外部，影像传送系统2具备影像发送装置3以及影像接收装置5。
影像接收装置5具备数据接收部15以及第2推理部16。
影像数据取得部11例如通过图2所示的影像数据取得电路21来实现。
影像数据取得部11取得从摄像机1输出的第1影像数据。
影像数据取得部11将第1影像数据输出到第1推理部12。
第1推理部12例如通过图2所示的第1推理电路22来实现。
第1推理部12具备第1学习模型13。
第1推理部12将由影像数据取得部11取得的第1影像数据提供给第1学习模型13，从第1学习模型13取得作为与第1影像数据不同的数据的中间数据。中间数据是在图4所示的学习模型30中直至将第1影像数据变换为后述的第2影像数据为止的途中阶段的数据。
在图1所示的影像传送系统2中，设想中间数据的数据量比第1影像数据的数据量少。但是，这只不过是一个例子，中间数据的数据量不限于比第1影像数据的数据量少。
第1推理部12将中间数据输出到数据发送部14。
在图1所示的影像传送系统2中，第1推理部12具备第1学习模型13。但是，这只不过是一个例子，第1学习模型13也可以设置于第1推理部12的外部。
第1学习模型13以及后述的第2学习模型17分别是图4所示的学习模型30的一部分。
图4是示出学习模型30的一个例子的说明图。
学习模型30例如通过神经网络来实现。学习模型30具备输入层31、M个中间层32-1～32-M、N个中间层33-1～33-N、以及输出层34。M、N分别是2以上的整数。
图4所示的学习模型30具备M个中间层32-1～32-M。但是，这只不过是一个例子，学习模型30也可以仅具备M个中间层32-1～32-M中的中间层32-1。另外，图4所示的学习模型30具备N个中间层33-1～33-N。但是，这只不过是一个例子，学习模型30也可以仅具备N个中间层33-1～33-N中的中间层33-1。
在学习时，由影像数据取得部11取得的第1影像数据被提供给学习模型30的输入层31。另外，作为教师数据(teacher data)，将摄像机1的拍摄时刻比第1影像超前中间数据的传送时间以上的第2影像的预测影像提供给学习模型30。中间数据的传送时间是中间数据从数据发送部14到达至数据接收部15的时间。在图1所示的影像传送系统2中，中间数据的传送时间是固定的，在影像传送系统2中，中间数据的传送时间是已知值。
如果影像数据取得部11、第1推理部12、数据发送部14、数据接收部15以及第2推理部16中的各个处理时间是可忽略的程度的短时间，则作为教师数据，将表示摄像机1的拍摄时刻比第1影像超前中间数据的传送时间的第2影像的预测影像的影像数据提供给学习模型30。
另一方面，如果各个处理时间并非是可忽略的程度的短时间，则作为教师数据，将表示摄像机1的拍摄时刻比第1影像的拍摄时刻超前各个处理时间和中间数据的传送时间的合计时间的第2影像的预测影像的影像数据提供给学习模型30。
学习模型30以如下方式学习：如果各个处理时间是可忽略的程度的短时间，则在将第1影像数据提供给输入层31时，从输出层34输出表示拍摄时刻比第1影像超前中间数据的传送时间的第2影像的预测影像的第2影像数据。
学习模型30以如下方式学习：如果各个处理时间并非是可忽略的程度的短时间，则在将第1影像数据提供给输入层31时，从输出层34输出表示拍摄时刻比第1影像超前各个处理时间和中间数据的传送时间的合计时间的第2影像的预测影像的第2影像数据。
学习模型30的输入层31例如具有与构成第1影像的多个像素的数量相同的数量的输入端子。第1影像数据是表示各个像素的像素值的数据，各个像素值被提供给输入层31中的各个输入端子。
学习模型30的输出层34例如具有与构成第2影像的预测影像的多个像素的数量相同的数量的输出端子。第2影像数据是表示各个像素的像素值的数据，从输出层34中的各个输出端子输出各个像素值。
第1学习模型13包括学习完毕的学习模型30所包含的输入层31和M个中间层32-1～32-M。
第2学习模型17包括学习完毕的学习模型30所包含的中间层32-M、N个中间层33-1～33-N以及输出层34。
此外，以包含输入层31和M个中间层32-1～32-M的方式生成第1学习模型13的技术、以及以包含中间层32-M、N个中间层33-1～33-N以及输出层34的方式生成第2学习模型17的技术自身是公知的技术。
数据发送部14例如通过图2所示的数据发送电路23来实现。
数据发送部14将由第1推理部12取得的中间数据经由传送路4发送到数据接收部15。
数据接收部15例如通过图3所示的数据接收电路24来实现。
数据接收部15接收从数据发送部14发送的中间数据。
数据接收部15将中间数据输出到第2推理部16。
第2推理部16例如通过图3所示的第2推理电路25来实现。
第2推理部16具备第2学习模型17。
第2推理部16将由数据接收部15接收到的中间数据提供给第2学习模型17，从第2学习模型17取得表示摄像机1的拍摄时刻比第1影像超前中间数据的传送时间以上的第2影像的预测影像的第2影像数据。
在图1所示的影像传送系统2中，为了简化说明，设为可忽略影像数据取得部11、第1推理部12、数据发送部14、数据接收部15以及第2推理部16中的各个处理时间。在该情况下，第2推理部16将由数据接收部15接收到的中间数据提供给第2学习模型17，从第2学习模型17取得表示摄像机1的拍摄时刻比第1影像超前中间数据的传送时间的第2影像的预测影像的第2影像数据。
在无法忽略各个处理时间的情况下，第2推理部16将由数据接收部15接收到的中间数据提供给第2学习模型17，从第2学习模型17取得表示摄像机1的拍摄时刻比第1影像超前各个处理时间和中间数据的传送时间的合计时间的第2影像的预测影像的第2影像数据。
第2推理部16将第2影像数据例如输出到显示装置6或者未图示的影像处理装置。
在图1所示的影像传送系统2中，第2推理部16具备第2学习模型17。但是，这只不过是一个例子，也可以是第2学习模型17设置于第2推理部16的外部。
显示装置6使从第2推理部16输出的第2影像数据表示的第2影像的预测影像显示于监视器。
未图示的影像处理装置依照从第2推理部16输出的第2影像数据，分析第2影像的预测影像中所映现的被摄体等。
在图1中，设想作为影像发送装置3的构成要素的影像数据取得部11、第1推理部12以及数据发送部14分别通过如图2所示的专用的硬件来实现。即，设想影像发送装置3通过影像数据取得电路21、第1推理电路22以及数据发送电路23来实现。
另外，在图1中，设想作为影像接收装置5的构成要素的数据接收部15以及第2推理部16分别通过如图3所示的专用的硬件来实现。即，设想影像接收装置5通过数据接收电路24以及第2推理电路25来实现。
影像数据取得电路21、第1推理电路22、数据发送电路23、数据接收电路24以及第2推理电路25各自相应的是例如单一电路、复合电路、被编程的处理器、被并行编程的处理器、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)、或者它们的组合。
影像发送装置3的构成要素不限于通过专用的硬件来实现，影像发送装置3也可以通过软件、固件、或者软件和固件的组合来实现。
另外，影像接收装置5的构成要素不限于通过专用的硬件来实现，影像接收装置5也可以通过软件、固件、或者软件和固件的组合来实现。
软件或者固件作为程序而被储存到计算机的存储器。计算机意味着执行程序的硬件，相应的是例如CPU(Central Processing Unit，中央处理单元)、中央处理装置、处理装置、运算装置、微处理器、微型计算机、处理器、或者DSP(Digital Signal Processor，数字信号处理器)。
图5是通过软件或者固件等来实现影像发送装置3或者影像接收装置5的情况的计算机的硬件结构图。
在影像发送装置3通过软件或者固件等来实现的情况下，用于使计算机执行影像数据取得部11、第1推理部12以及数据发送部14中的各个处理过程的程序被储存到存储器41。并且，计算机的处理器42执行储存于存储器41的程序。
在影像接收装置5通过软件或者固件等来实现的情况下，用于使计算机执行数据接收部15以及第2推理部16中的各个处理过程的程序被储存到存储器41。并且，计算机的处理器42执行储存于存储器41的程序。
在图2中示出影像发送装置3的各个构成要素通过专用的硬件来实现的例子，在图5中示出影像发送装置3通过软件或者固件等来实现的例子。但是，这只不过是一个例子，也可以是影像发送装置3中的一部分的构成要素通过专用的硬件来实现，剩余的构成要素通过软件或者固件等来实现。
在图3中示出影像接收装置5的各个构成要素通过专用的硬件来实现的例子，在图5中示出影像接收装置5通过软件或者固件等来实现的例子。但是，这只不过是一个例子，也可以是影像接收装置5中的一部分的构成要素通过专用的硬件来实现，剩余的构成要素通过软件或者固件等来实现。
接下来，说明图1所示的影像传送系统2的动作。
图6是示出作为影像传送方法的一部分的影像发送装置3的处理过程的流程图。
图7是示出作为影像传送方法的一部分的影像接收装置5的处理过程的流程图。
图4所示的学习模型30在学习时除了由影像数据取得部11取得的第1影像数据以外，作为教师数据，还将表示摄像机1的拍摄时刻比第1影像超前中间数据的传送时间的第2影像的预测影像的影像数据提供给学习模型30。
并且，学习模型30如以下方式学习：使用关于多个第1影像数据各自所表示的第1影像的图像列和关于多个教师数据各自所表示的预测影像的图像列，在被提供某个影像时，得到针对某个影像的未来的影像作为预测影像。即，学习模型30以如下方式学习：在将第1影像数据提供给输入层31时，从输出层34输出表示摄像机1的拍摄时刻比第1影像超前中间数据的传送时间的第2影像的预测影像的影像数据。
图8是示出摄像机1的拍摄时刻相互不同的多个影像的说明图。
在图8中，T0～T6是影像的拍摄时刻。拍摄时刻T0是在拍摄时刻T0～T6中最早的拍摄时刻，拍摄时刻T6是在拍摄时刻T0～T6中最新的拍摄时刻。
各个拍摄时刻T0～T6之间的时间差ΔT用以下的式(1)表示。
ΔT＝T1-T0＝T2-T1＝T3-T2＝T4-T3＝T5-T4＝T6-T5 (1)
例如，以如下方式学习：如果中间数据的传送时间是与拍摄时刻T3-拍摄时刻T0的时间3×ΔT相等的时间，则在对输入层31提供了表示拍摄时刻T0的第1影像的第1影像数据时，从输出层32输出表示拍摄时刻T3(＝T0+3×ΔT)的影像的第2影像数据作为第2影像的预测影像。另外，以如下方式学习：在对输入层31提供了表示拍摄时刻T1的第1影像的第1影像数据时，从输出层34输出表示拍摄时刻T4(＝T1+3×ΔT)的影像的第2影像数据作为第2影像的预测影像。
学习完毕的学习模型30具备输入层31、M个中间层32-1～32-M、N个中间层33-1～33-N以及输出层34。
通过以使第1学习模型13以及第2学习模型17各自共同地包括中间层32-M的方式分割学习完毕的学习模型30，分别生成第1学习模型13以及第2学习模型17。
即，以包括输入层31和M个中间层32-1～32-M的方式生成第1学习模型13，以包括中间层32-M、N个中间层33-1～33-N以及输出层34的方式生成第2学习模型17。
摄像机1将表示第1影像的第1影像数据输出到影像传送系统2的影像数据取得部11。
影像数据取得部11取得从摄像机1输出的第1影像数据(图6的步骤ST1)。
影像数据取得部11将第1影像数据输出到第1推理部12。
第1推理部12从影像数据取得部11取得第1影像数据。
第1推理部12将第1影像数据提供给第1学习模型13，从第1学习模型13取得作为与第1影像数据不同的数据的中间数据(图6的步骤ST2)。
即，第1推理部12将第1影像数据提供给输入层31，从中间层32-M取得中间数据。
第1推理部12将中间数据输出到数据发送部14。
执行针对影像数据的一般的压缩处理的程序具有执行分支的句法，所以压缩处理的处理时间有时变动。第1推理部12通过将第1影像数据提供给第1学习模型13而取得中间数据，并非是实施执行分支的句法的程序。因此，第1推理部12的处理时间不会产生如一般的压缩处理那样的处理时间的变动。
此外，在图1所示的影像传送系统2中，如上所述为了简化说明而忽略了第1推理部12的处理时间。
数据发送部14从第1推理部12取得中间数据。
数据发送部14将中间数据经由传送路4发送到数据接收部15(图6的步骤ST3)。
数据接收部15接收从数据发送部14发送的中间数据(图7的步骤ST11)。
数据接收部15将中间数据输出到第2推理部16。
第2推理部16从数据接收部15取得中间数据。
第2推理部16将中间数据提供给第2学习模型17，从第2学习模型17取得第2影像数据(图7的步骤ST12)。
即，第2推理部16将中间数据提供给中间层32-M，从输出层34取得第2影像数据。
设为中间数据的传送时间例如是与拍摄时刻T3-拍摄时刻T0的时间3×ΔT相等的时间。在该情况下，例如如果将表示拍摄时刻T0的第1影像的第1影像数据提供给第1学习模型13的输入层31，则从第2学习模型17的输出层34输出表示拍摄时刻T3(＝T0+3×ΔT)的影像的第2影像数据作为第2影像的预测影像。
例如，如果将表示拍摄时刻T2的第1影像的第1影像数据提供给第1学习模型13的输入层31，则从第2学习模型17的输出层34输出表示拍摄时刻T5(＝T2+3×ΔT)的影像的第2影像数据作为第2影像的预测影像。
因此，从第2学习模型17的输出层34输出的第2影像数据表示的影像是比第1影像超前摄像机1的拍摄时刻的第2影像的预测影像、即对摄像机1的实时的拍摄影像进行预测得到的影像。
第2推理部16将第2影像数据例如输出到显示装置6或者未图示的影像处理装置。
显示装置6使从第2推理部16输出的第2影像数据表示的预测影像显示于监视器。
处于远距离地点的作业人员等能够通过观察显示于监视器的预测影像来确认现场的状况。
在以上的实施方式1中，影像传送系统2构成为具备：影像数据取得部11，取得表示第1影像的第1影像数据；第1推理部12，将由影像数据取得部11取得的第1影像数据提供给第1学习模型13，从第1学习模型13取得作为与第1影像数据不同的数据的中间数据；数据发送部14，发送由第1推理部12取得的中间数据；数据接收部15，接收从数据发送部14发送的中间数据；以及第2推理部16，将由数据接收部15接收到的中间数据提供给第2学习模型17，从第2学习模型17取得表示摄像机1的拍摄时刻比第1影像超前从数据发送部14至数据接收部15的中间数据的传送时间以上的第2影像的预测影像的第2影像数据。因此，影像传送系统2能够支援用于处于远距离地点的作业人员等针对现场发出恰当的作业指示。
在图1所示的影像传送系统2中，学习完毕的学习模型30通过学习完毕的神经网络来实现。但是，学习完毕的学习模型30不限于通过学习完毕的神经网络来实现，例如也可以通过学习完毕的深度学习来实现。因此，第1学习模型13以及第2学习模型17各自例如也可以通过学习完毕的深度学习的一部分来实现。
实施方式2
在实施方式2中，说明具备确定从数据发送部14至数据接收部15的中间数据的传送时间的传送时间确定部18的影像传送系统2。
在图1所示的影像传送系统2中，设为中间数据的传送时间是固定的，且是已知值。
在图9所示的影像传送系统2中，设为中间数据的传送时间是变动的，且并非是已知值。
图9是示出实施方式2所涉及的影像传送系统2的结构图。
图10是示出实施方式2所涉及的影像传送系统2所包括的影像接收装置5的硬件的硬件结构图。
在图9以及图10中，与图1以及图3相同的符号表示相同或者相当的部分，所以省略说明。
图9所示的影像传送系统2所包括的影像发送装置3的硬件与图1所示的影像传送系统2所包括的影像发送装置3的硬件相同。因此，图9所示的影像传送系统2所包括的影像发送装置3的硬件结构图是图2。
传送时间确定部18例如通过图10所示的传送时间确定电路26来实现。
传送时间确定部18根据数据发送部14的中间数据的发送时刻以及数据接收部15的中间数据的接收时刻，确定中间数据的传送时间Time。
例如，实现影像发送装置3和影像接收装置5的时刻同步，对从数据发送部14发送的中间数据附加有表示由影像数据取得部11取得了第1影像数据的时刻的时间戳。传送时间确定部18计算数据接收部15的中间数据的接收时刻Tr与时间戳表示的时刻Ts的差分作为传送时间Time。
传送时间确定部18将传送时间Time输出到第2推理部19。
第2推理部19例如通过图10所示的第2推理电路27来实现。
第2推理部19具备第2学习模型17。
第2推理部19从第2学习模型17取得表示摄像机1的拍摄时刻比第1影像超前由传送时间确定部18确定的传送时间Time以上的第2影像的预测影像的第2影像数据。
在图9所示的影像传送系统2中，为了简化说明，设为可忽略影像数据取得部11、第1推理部12、数据发送部14、数据接收部15以及第2推理部19中的各个处理时间。在该情况下，第2推理部19将由数据接收部15接收到的中间数据提供给第2学习模型17，从第2学习模型17取得表示摄像机1的拍摄时刻比第1影像超前由传送时间确定部18确定的传送时间Time的第2影像的预测影像的第2影像数据。
在无法忽略各个处理时间的情况下，第2推理部19将由数据接收部15接收到的中间数据提供给第2学习模型17，从第2学习模型17取得表示摄像机1的拍摄时刻比第1影像超前各个处理时间和中间数据的传送时间Time的合计时间的第2影像的预测影像的第2影像数据。
第2推理部19将第2影像数据例如输出到显示装置6或者未图示的影像处理装置。
在图9中，设想作为影像接收装置5的构成要素的数据接收部15、传送时间确定部18以及第2推理部19各自通过如图10所示的专用的硬件来实现。即，设想影像接收装置5通过数据接收电路24、传送时间确定电路26以及第2推理电路27来实现。
数据接收电路24、传送时间确定电路26以及第2推理电路27各自相应的是例如单一电路、复合电路、被编程的处理器、被并行编程的处理器、ASIC、FPGA、或者它们的组合。
影像接收装置5的构成要素不限于通过专用的硬件来实现，影像接收装置5也可以通过软件、固件、或者软件和固件的组合来实现。
在影像接收装置5通过软件或者固件等来实现的情况下，用于使计算机执行数据接收部15、传送时间确定部18以及第2推理部19中的各个处理过程的程序被储存到图5所示的存储器41。并且，图5所示的处理器42执行储存于存储器41的程序。
在图10中示出影像接收装置5的各个构成要素通过专用的硬件来实现的例子，在图5中示出影像接收装置5通过软件或者固件等来实现的例子。但是，这只不过是一个例子，也可以是影像接收装置5中的一部分的构成要素通过专用的硬件来实现，剩余的构成要素通过软件或者固件等来实现。
接下来，说明图9所示的影像传送系统2的动作。
在图9所示的影像传送系统2中，在学习时除了由影像数据取得部11取得的第1影像数据以外，作为教师数据，还将表示摄像机1的拍摄时刻比第1影像超前所设想的最大的传送时间Timemax的影像的影像数据提供给学习模型30。并且，学习模型30以如下方式学习：在将第1影像数据提供给输入层31时，从输出层34输出表示比第1影像的拍摄时刻超前最大的传送时间Timemax的影像的第2影像数据。
图9所示的影像发送装置3与图1所示的影像发送装置3同样地动作。
但是，图9所示的影像发送装置3的数据发送部14对中间数据附加表示由影像数据取得部11取得了第1影像数据的时刻Ts的时间戳，将带时间戳的中间数据经由传送路4发送到影像接收装置5。
图9所示的影像接收装置5在第2推理部19开始进行从第2学习模型17取得第2影像数据并将第2影像数据输出到显示装置6等的处理之前，实施以下所示的预处理。
以下，具体地说明影像接收装置5的预处理。
数据接收部15接收从数据发送部14发送的带时间戳的中间数据。
数据接收部15将中间数据输出到第2推理部19。
第2推理部19从数据接收部15取得中间数据。
第2推理部19将中间数据提供给第2学习模型17，从第2学习模型17取得表示摄像机1的拍摄时刻比第1影像超前最大的传送时间Timemax的影像的第2影像数据。
第2推理部19将取得的第2影像数据储存到内部存储器。
在此，为便于说明，设为最大的传送时间Timemax是与拍摄时刻T9-拍摄时刻T0的时间9×ΔT相等的时间。
在该情况下，第2推理部19例如如果将与拍摄时刻T0的第1影像相关的中间数据提供给第2学习模型17，则从第2学习模型17取得表示拍摄时刻T9(＝T0+9×ΔT)的影像的第2影像数据，将该第2影像数据储存到内部存储器。
第2推理部19例如如果将与拍摄时刻T1的第1影像相关的中间数据提供给第2学习模型17，则从第2学习模型17取得表示拍摄时刻T10(＝T1+9×ΔT)的影像的第2影像数据，将该第2影像数据储存到内部存储器。
第2推理部19例如如果将与拍摄时刻T2的第1影像相关的中间数据提供给第2学习模型17，则从第2学习模型17取得表示拍摄时刻T11(＝T2+9×ΔT)的影像的第2影像数据，将该第2影像数据储存到内部存储器。
第2推理部19例如如果将与拍摄时刻T8的第1影像相关的中间数据提供给第2学习模型17，则从第2学习模型17取得表示拍摄时刻T17(＝T8+9×ΔT)的影像的第2影像数据，将该第2影像数据储存到内部存储器。
由此，在第2推理部19的内部存储器中储存9个第2影像数据，影像接收装置5的预处理结束。即，在内部存储器中储存分别表示拍摄时刻T9的影像、拍摄时刻T10的影像、拍摄时刻T11的影像、……、拍摄时刻T17的影像的第2影像数据，影像接收装置5的预处理结束。
接下来，说明预处理结束后的影像接收装置5。
数据接收部15接收从数据发送部14发送的带时间戳的中间数据。
数据接收部15将带时间戳的中间数据输出到第2推理部19。
另外，数据接收部15将附加到中间数据的时间戳以及表示中间数据的接收时刻Tr的时刻信息分别输出到传送时间确定部18。
传送时间确定部18从数据接收部15取得时间戳以及表示接收时刻Tr的时刻信息的各个信息。
传送时间确定部18如以下的式(2)所示，作为中间数据的传送时间Time，计算数据接收部15的中间数据的接收时刻Tr与时间戳表示的时刻Ts的差分。
Time＝Tr-Ts (2)
传送时间确定部18将表示传送时间Time的时间信息输出到第2推理部19。
第2推理部19从数据接收部15取得带时间戳的中间数据。
另外，第2推理部19从传送时间确定部18取得表示传送时间Time的时间信息。
第2推理部19对附加到中间数据的时间戳表示的时刻Ts相加传送时间Time。
第2推理部19从储存于内部存储器的9个第2影像数据中，取得表示摄像机1的拍摄时刻比第1影像超前传送时间Time的影像的第2影像数据作为第2影像的预测影像。
例如，如果传送时间Time是与拍摄时刻T1-拍摄时刻T0的时间ΔT相等的时间，且时间戳表示的时刻Ts是拍摄时刻T9，则第2推理部19从储存于内部存储器的9个第2影像数据中，取得表示拍摄时刻T10(＝T9+ΔT)的影像的第2影像数据作为第2影像的预测影像。
例如，如果传送时间Time是与拍摄时刻T2-拍摄时刻T0的时间2×ΔT相等的时间，且时间戳表示的时刻Ts是拍摄时刻T9，则第2推理部19从储存于内部存储器的9个第2影像数据中，取得表示拍摄时刻T11(＝T9+2×ΔT)的影像的第2影像数据作为第2影像的预测影像。
例如，如果传送时间Time是与拍摄时刻T3-拍摄时刻T0的时间3×ΔT相等的时间，且时间戳表示的时刻Ts是拍摄时刻T9，则第2推理部19从储存于内部存储器的9个第2影像数据中，取得表示拍摄时刻T12(＝T9+3×ΔT)的影像的第2影像数据作为第2影像的预测影像。
第2推理部19将取得的第2影像数据例如输出到显示装置6或者未图示的影像处理装置。
另外，第2推理部19更新储存于内部存储器的第2影像数据。
即，第2推理部19将从数据接收部15输出的中间数据提供给第2学习模型17，从第2学习模型17取得表示摄像机1的拍摄时刻比第1影像超前最大的传送时间Timemax的影像的第2影像数据。
例如，如果最大的传送时间Timemax是与拍摄时刻T9-拍摄时刻T0的时间9×ΔT相等的时间，且时间戳表示的时刻Ts是拍摄时刻T9，则第2推理部19从第2学习模型17取得表示拍摄时刻T18(＝T9+9×ΔT)的影像的第2影像数据。
第2推理部19将表示拍摄时刻T18(＝T9+9×ΔT)的影像的第2影像数据储存到内部存储器。
另外，第2推理部19在储存于内部存储器的第2影像数据中，废弃表示拍摄时刻最早的拍摄时刻T9的影像的第2影像数据。
在以上的实施方式2中，影像传送系统2构成为具备根据数据发送部14的中间数据的发送时刻以及数据接收部15的中间数据的接收时刻来确定中间数据的传送时间的传送时间确定部18，第2推理部19从第2学习模型17取得表示摄像机1的拍摄时刻比第1影像超前由传送时间确定部18确定的传送时间以上的第2影像的预测影像的第2影像数据。因此，影像传送系统2即使在中间数据的传送时间发生变动的情况下，也能够支援用于处于远距离地点的作业人员等针对现场发出恰当的作业指示。
实施方式3
在实施方式3中，说明第2推理部51将由数据接收部15接收到的中间数据提供给多个第2学习模型17-1～17-G中的任一个第2学习模型17-g(g＝1，……，G)并从任一个第2学习模型17-g取得第2影像数据的影像传送系统2。G是2以上的整数。
图11是示出实施方式3所涉及的影像传送系统2的结构图。
在图11中，与图1以及图9相同的符号表示相同或者相当的部分，所以省略说明。
图12是示出实施方式3所涉及的影像传送系统2所包括的影像接收装置5的硬件的硬件结构图。
在图12中，与图3以及图10相同的符号表示相同或者相当的部分，所以省略说明。
图11所示的影像传送系统2所包括的影像发送装置3的硬件与图1所示的影像传送系统2所包括的影像发送装置3或者图9所示的影像传送系统2所包括的影像发送装置3的硬件相同。因此，图11所示的影像传送系统2所包括的影像发送装置3的硬件结构图是图2。
第2推理部51例如通过图12所示的第2推理电路61来实现。
第2推理部51具备第2学习模型17-1～17-G。
第2推理部51将由数据接收部15接收到的中间数据提供给第2学习模型17-1～17-G中的任一个第2学习模型17-g(g＝1，……，G)，从任一个第2学习模型17-g取得第2影像数据。
第2推理部51将取得的第2影像数据例如输出到显示装置6或者未图示的影像处理装置。
在图11所示的影像传送系统2中，示出了将第2推理部51应用于图1所示的影像传送系统2的例子。但是，这只不过是一个例子，也可以将第2推理部51应用于图9所示的影像传送系统2。
第2学习模型17-1是与图1所示的第2学习模型17相同的学习模型。
第2学习模型17-g(g＝2，……，G)与第2学习模型17-1同样地包括中间层32-M、N个中间层33-1～33-N以及输出层34。
但是，第2学习模型17-g(g＝2，……，G)与第2学习模型17-1不同，而且被提供由数据接收部15接收到的中间数据和教师数据而重新学习。
提供给第2学习模型17-g(g＝2，……，G)的教师数据所表示的拍摄时刻Tj的影像中所映现的被摄体、和提供给学习模型30的教师数据所表示的拍摄时刻Tj的影像中所映现的被摄体是相同的被摄体。j＝1、……、J，J是2以上的整数。
但是，提供给第2学习模型17-g的教师数据所表示的影像例如是提供给学习模型30的教师数据所表示的影像的加工影像。
例如，提供给第2学习模型17-2的教师数据所表示的影像是以使提供给学习模型30的教师数据所表示的影像成为在白天的时间段拍摄的影像(以下称为“白天影像”)的方式加工的影像。
例如，提供给第2学习模型17-3的教师数据所表示的影像是以使提供给学习模型30的教师数据所表示的影像成为在晴天时拍摄的影像(以下称为“晴天影像”)的方式加工的影像。
例如，提供给第2学习模型17-4的教师数据所表示的影像是以使提供给学习模型30的教师数据所表示的影像成为在夏天的季节拍摄的影像(以下称为“夏天影像”)的方式加工的影像。
一般而言，白天影像比在夜间的时间段拍摄的影像清晰。一般而言，晴天影像比在阴天时拍摄的影像或者在雨天时拍摄的影像清晰。一般而言，夏天影像比在夏天以外的季节拍摄的影像清晰。
如果由摄像机1拍摄的影像是在白天的时间段拍摄、在晴天时拍摄、并且在夏天的季节拍摄的影像，则一般而言由摄像机1拍摄的影像比加工的白天影像、加工的晴天影像以及加工的夏天影像的各个影像都更清晰。
在图11中，设想作为影像接收装置5的构成要素的数据接收部15以及第2推理部51各自通过如图12所示的专用的硬件来实现。即，设想影像接收装置5通过数据接收电路24以及第2推理电路61来实现。
数据接收电路24以及第2推理电路61各自相应的是例如单一电路、复合电路、被编程的处理器、被并行编程的处理器、ASIC、FPGA、或者它们的组合。
影像接收装置5的构成要素不限于通过专用的硬件来实现，影像接收装置5也可以通过软件、固件、或者软件和固件的组合来实现。
在影像接收装置5通过软件或者固件等来实现的情况下，用于使计算机执行数据接收部15以及第2推理部51中的各个处理过程的程序被储存到图5所示的存储器41。并且，图5所示的处理器42执行储存于存储器41的程序。
在图12中示出影像接收装置5的各个构成要素通过专用的硬件来实现的例子，在图5中示出影像接收装置5通过软件或者固件等来实现的例子。但是，这只不过是一个例子，也可以是影像接收装置5中的一部分的构成要素通过专用的硬件来实现，剩余的构成要素通过软件或者固件等来实现。
接下来，说明图11所示的影像传送系统2的动作。
在图11所示的影像传送系统2中，为便于说明，说明G＝4的例子。但是，不限于G＝4，也可以是G＝2、G＝3或者G≥5。
另外，在图11所示的影像传送系统2中，设为在第2学习模型17-1～17-4中有优先次序。在此，为便于说明，设为第2学习模型17-1的优先次序最高，第2学习模型17-2的优先次序第2高，第2学习模型17-3的优先次序第3高，第2学习模型17-4的优先次序最低。
图11所示的影像发送装置3与图1所示的影像发送装置3同样地动作。
影像接收装置5的数据接收部15接收从数据发送部14发送的中间数据。
数据接收部15将中间数据输出到第2推理部51。
第2推理部51从数据接收部15取得中间数据。
如果数据接收部15的中间数据的接收时刻Tr包含于白天的时间段、且第1影像是在晴天时拍摄并且在夏天的季节拍摄的影像，则第2推理部51将中间数据提供给第2学习模型17-1。并且，第2推理部51从第2学习模型17-1取得表示第2影像的预测影像的第2影像数据。
表示第1影像是否为在晴天时拍摄的影像的信息既可以是从影像传送系统2的外部提供的信息，也可以是附加到中间数据的信息。表示第1影像是否为在夏天的季节拍摄的影像的信息既可以是从影像传送系统2的外部提供的信息，也可以是附加到中间数据的信息。另外，表示是否为在夏天的季节拍摄的影像的信息还能够从影像接收装置5具有的日历获得。
如果数据接收部15的中间数据的接收时刻Tr包含于夜间的时间段，则第2推理部51将中间数据提供给第2学习模型17-2，从第2学习模型17-2取得表示白天影像的第2影像数据作为第2影像的预测影像。
如果数据接收部15的中间数据的接收时刻Tr包含于白天的时间段、且第1影像是在阴天时拍摄的影像或者在雨天时拍摄的影像，则第2推理部51将中间数据提供给第2学习模型17-3。并且，第2推理部51从第2学习模型17-3，取得表示晴天影像的第2影像数据作为第2影像的预测影像。
如果数据接收部15的中间数据的接收时刻Tr包含于白天的时间段、且第1影像是在晴天时拍摄并且在夏天的季节以外的季节拍摄的影像，则第2推理部51将中间数据提供给第2学习模型17-4。并且，第2推理部51从第2学习模型17-4，取得表示夏天影像的第2影像数据作为第2影像的预测影像。
第2推理部51将取得的第2影像数据例如输出到显示装置6或者未图示的影像处理装置。
在以上的实施方式3中，图11所示的影像传送系统2构成为如下：有第2学习模型17-1～17-G，从第2学习模型17-1～17-G输出的第2影像数据表示相互不同的第2影像的预测影像，第2推理部51将由数据接收部15接收到的中间数据提供给第2学习模型17-1～17-G中的任一个第2学习模型17-g，从任一个第2学习模型17-g取得第2影像数据。因此，图11所示的影像传送系统2除了与图1所示的影像传送系统2同样地能够支援用于处于远距离地点的作业人员等针对现场发出恰当的作业指示以外，即使摄像机1的拍摄环境发生变化，也能够取得清晰的影像等。
在图11所示的影像传送系统2中，第2推理部51根据中间数据的接收时刻Tr等，将由数据接收部15接收到的中间数据提供给第2学习模型17-1～17-G中的任一个第2学习模型。但是，这只不过是一个例子，第2推理部51也可以从影像传送系统2的外部，在第2学习模型17-1～17-G中，取得表示提供中间数据的1个第2学习模型的控制信号，针对控制信号表示的第2学习模型提供中间数据。
实施方式4
在实施方式4中，说明推理部73具备学习模型30的影像接收装置5。
图13是示出包括实施方式4所涉及的影像接收装置5的影像传送系统2的结构图。
图14是示出图13所示的影像传送系统2所包括的影像发送装置3的硬件的硬件结构图。
图15是示出图13所示的影像传送系统2所包括的影像接收装置5的硬件的硬件结构图。
在图13、图14以及图15中，与图1、图2以及图3相同的符号表示相同或者相当的部分，所以省略说明。
影像发送装置3具备影像数据取得部11以及数据发送部71。
影像接收装置5具备数据接收部72以及推理部73。
数据发送部71例如通过图14所示的数据发送电路81来实现。
数据发送部71将由影像数据取得部11取得的第1影像数据经由传送路4发送到数据接收部72。
数据接收部72例如通过图15所示的数据接收电路82来实现。
数据接收部72接收从数据发送部71发送的第1影像数据。
数据接收部72将第1影像数据输出到推理部73。
推理部73例如通过图15所示的推理电路83来实现。
推理部73具备图4所示的学习模型30。
推理部73将由数据接收部72接收到的第1影像数据提供给学习模型30，从学习模型30取得表示摄像机1的拍摄时刻比第1影像超前从影像发送装置3的数据发送部71至数据接收部72的第1影像数据的传送时间以上的第2影像的预测影像的第2影像数据。在图13所示的影像传送系统2中，第1影像数据的传送时间是固定的，在影像传送系统2中，第1影像数据的传送时间为已知值。
在图13所示的影像传送系统2中，为了简化说明，设为可忽略影像数据取得部11、数据发送部71、数据接收部72以及推理部73中的各个处理时间。在该情况下，推理部73将由数据接收部72接收到的第1影像数据提供给学习模型30，从学习模型30取得表示摄像机1的拍摄时刻比第1影像超前第1影像数据的传送时间的第2影像的预测影像的第2影像数据。
在无法忽略各个处理时间的情况下，推理部73将由数据接收部72接收到的第1影像数据提供给学习模型30，从学习模型30取得表示摄像机1的拍摄时刻比第1影像超前各个处理时间和第1影像数据的传送时间的合计时间的第2影像的预测影像的第2影像数据。
推理部73将第2影像数据例如输出到显示装置6或者未图示的影像处理装置。
在图13所示的影像传送系统2中，推理部73具备学习模型30。但是，这只不过是一个例子，学习模型30也可以设置于推理部73的外部。
在图13所示的影像传送系统2中，示出了将数据发送部71、数据接收部72以及推理部73应用于图1所示的影像传送系统2的例子。但是，这只不过是一个例子，也可以将数据发送部71、数据接收部72以及推理部73应用于图9所示的影像传送系统2或者图11所示的影像传送系统2。
在图13中，设想作为影像发送装置3的构成要素的影像数据取得部11以及数据发送部71各自通过如图14所示的专用的硬件来实现。即，设想影像发送装置3通过影像数据取得电路21以及数据发送电路81来实现。
另外，在图13中，设想作为影像接收装置5的构成要素的数据接收部72以及推理部73各自通过如图15所示的专用的硬件来实现。即，设想影像接收装置5通过数据接收电路82以及推理电路83来实现。
影像数据取得电路21、数据发送电路81、数据接收电路82以及推理电路83各自相应的是例如单一电路、复合电路、被编程的处理器、被并行编程的处理器、ASIC、FPGA、或者它们的组合。
影像发送装置3的构成要素不限于通过专用的硬件来实现，影像发送装置3也可以通过软件、固件、或者软件和固件的组合来实现。
另外，影像接收装置5的构成要素不限于通过专用的硬件来实现，影像接收装置5也可以通过软件、固件、或者软件和固件的组合来实现。
在影像发送装置3通过软件或者固件等来实现的情况下，用于使计算机执行影像数据取得部11以及数据发送部71中的各个处理过程的程序被储存到图5所示的存储器41。并且，图5所示的处理器42执行储存于存储器41的程序。
在影像接收装置5通过软件或者固件等来实现的情况下，用于使计算机执行数据接收部72以及推理部73中的各个处理过程的程序被储存到图5所示的存储器41。并且，图5所示的处理器42执行储存于存储器41的程序。
在图14中示出影像发送装置3的各个构成要素通过专用的硬件来实现的例子，在图5中示出影像发送装置3通过软件或者固件等来实现的例子。但是，这只不过是一个例子，也可以是影像发送装置3中的一部分的构成要素通过专用的硬件来实现，剩余的构成要素通过软件或者固件等来实现。
在图15中示出影像接收装置5的各个构成要素通过专用的硬件来实现的例子，在图5中示出影像接收装置5通过软件或者固件等来实现的例子。但是，这只不过是一个例子，也可以是影像接收装置5中的一部分的构成要素通过专用的硬件来实现，剩余的构成要素通过软件或者固件等来实现。
接下来，说明图13所示的影像传送系统2的动作。
摄像机1将表示第1影像的第1影像数据输出到影像传送系统2的影像数据取得部11。
影像数据取得部11取得从摄像机1输出的第1影像数据。
影像数据取得部11将第1影像数据输出到数据发送部71。
数据发送部71从影像数据取得部11取得第1影像数据。
数据发送部71将第1影像数据经由传送路4发送到数据接收部72。
数据接收部72接收从数据发送部71发送的第1影像数据。
数据接收部72将第1影像数据输出到推理部73。
推理部73从数据接收部72取得第1影像数据。
推理部73将第1影像数据提供给学习模型30，从学习模型30取得表示摄像机1的拍摄时刻比第1影像超前第1影像数据的传送时间的第2影像的预测影像的第2影像数据。
即，推理部73将第1影像数据提供给输入层31，从输出层34取得第2影像数据。
设为传送路4中的第1影像数据的传送时间例如是与拍摄时刻T3-拍摄时刻T0的时间3×ΔT相等的时间。在该情况下，例如如果将表示拍摄时刻T0的第1影像的第1影像数据提供给学习模型30的输入层31，则从学习模型30的输出层34，输出表示拍摄时刻T3(＝T0+3×ΔT)的影像的第2影像数据作为第2影像的预测影像。
例如，如果将表示拍摄时刻T2的第1影像的第1影像数据提供给学习模型30的输入层31，则从学习模型30的输出层34，输出表示拍摄时刻T5(＝T2+3×ΔT)的影像的第2影像数据作为第2影像的预测影像。
推理部73将第2影像数据例如输出到显示装置6或者未图示的影像处理装置。
在以上的实施方式4中，影像接收装置5构成为具备：数据接收部72，接收从影像发送装置3发送的表示第1影像的第1影像数据；以及推理部73，将由数据接收部72接收到的第1影像数据提供给学习模型30，从学习模型30取得表示摄像机1的拍摄时刻比第1影像超前第1影像数据的传送时间以上的第2影像的预测影像的第2影像数据。因此，影像接收装置5能够支援用于处于远距离地点的作业人员等针对现场发出恰当的作业指示。
在实施方式1～4中，影像发送装置3将中间数据或者第1影像数据发送到影像接收装置5。也可以是除了影像发送装置3将中间数据或者第1影像数据发送到影像接收装置5以外，如图16所示，影像接收装置5将针对存在于现场的机械93的操作信号发送到影像发送装置3。
图16是示出实施方式1～4所涉及的其他影像传送系统2的结构图。
操作信号发送部91从用于处于远距离地点的作业人员等对机械93进行远程操作的遥控器90取得操作信号。如果机械93是例如摄像机，则作为操作信号，例如考虑包括改变摄像机的朝向的命令的信号。如果机械93是例如机器人，则作为操作信号，例如考虑包括使机器人的手活动的命令的信号。
操作信号发送部91将取得的操作信号经由传送路4发送到操作信号接收部92。
操作信号接收部92接收从操作信号发送部91发送的操作信号，将操作信号输出到机械93。
机械93是存在于现场的机械。作为机械93，例如考虑机器人、车辆或者摄像机。
机械93依照从操作信号接收部92输出的操作信号而动作。
在图16所示的影像传送系统2中，将操作信号发送部91以及操作信号接收部92应用于图9所示的影像传送系统2。但是，这只不过是一个例子，也可以将操作信号发送部91以及操作信号接收部92应用于图1、图11或者图13所示的影像传送系统2。
此外，本公开能够实现各实施方式的自由的组合、或者各实施方式的任意的构成要素的变形、或者各实施方式中的任意的构成要素的省略。
产业上的可利用性
本公开适用于影像传送系统、影像传送方法以及影像接收装置。
符号的说明
1：摄像机；2：影像传送系统；3：影像发送装置；4：传送路；5：影像接收装置；6：显示装置；11：影像数据取得部；12：第1推理部；13：第1学习模型；14：数据发送部；15：数据接收部；16：第2推理部；17：第2学习模型；17-1～17-G：第2学习模型；18：传送时间确定部；19：第2推理部；21：影像数据取得电路；22：第1推理电路；23：数据发送电路；24：数据接收电路；25：第2推理电路；26：传送时间确定电路；27：第2推理电路；30：学习模型；31：输入层；32-1～32-M：中间层；33-1～33-N：中间层；34：输出层；41：存储器；42：处理器；51：第2推理部；61：第2推理电路；71：数据发送部；72：数据接收部；73：推理部；81：数据发送电路；82：数据接收电路；83：推理电路；90：遥控器；91：操作信号发送部；92：操作信号接收部；93：机械。

Claims (5)

1.一种影像传送系统，具备：
影像数据取得部，取得表示由摄像机拍摄的第1影像的第1影像数据；
第1推理部，将由所述影像数据取得部取得的第1影像数据提供给第1学习模型，从所述第1学习模型取得作为与所述第1影像数据不同的数据的中间数据；
数据发送部，发送由所述第1推理部取得的中间数据；
数据接收部，接收从所述数据发送部发送的中间数据；以及
第2推理部，将由所述数据接收部接收到的中间数据提供给第2学习模型，从所述第2学习模型取得表示所述摄像机的拍摄时刻比所述第1影像超前从所述数据发送部至所述数据接收部的中间数据的传送时间以上的第2影像的预测影像的第2影像数据。
2.根据权利要求1所述的影像传送系统，其特征在于，
所述影像传送系统具备传送时间确定部，该传送时间确定部根据所述数据发送部的中间数据的发送时刻和所述数据接收部的中间数据的接收时刻，确定所述中间数据的传送时间，
所述第2推理部从所述第2学习模型取得表示所述摄像机的拍摄时刻比所述第1影像超前由所述传送时间确定部确定的传送时间以上的第2影像的预测影像的第2影像数据。
3.根据权利要求1所述的影像传送系统，其特征在于，
有多个所述第2学习模型，
从多个所述第2学习模型输出的第2影像数据表示相互不同的第2影像的预测影像，
所述第2推理部将由所述数据接收部接收到的中间数据提供给多个所述第2学习模型中的任一个第2学习模型，从任一个第2学习模型取得第2影像数据。
4.一种影像传送方法，其中，
影像数据取得部取得表示由摄像机拍摄的第1影像的第1影像数据，
第1推理部将由所述影像数据取得部取得的第1影像数据提供给第1学习模型，从所述第1学习模型取得作为与所述第1影像数据不同的数据的中间数据，
数据发送部发送由所述第1推理部取得的中间数据，
数据接收部接收从所述数据发送部发送的中间数据，
第2推理部将由所述数据接收部接收到的中间数据提供给第2学习模型，从所述第2学习模型取得表示所述摄像机的拍摄时刻比所述第1影像超前从所述数据发送部至所述数据接收部的中间数据的传送时间以上的第2影像的预测影像的第2影像数据。
5.一种影像接收装置，具备：
数据接收部，接收从影像发送装置发送的表示由摄像机拍摄的第1影像的第1影像数据；以及
推理部，将由所述数据接收部接收到的第1影像数据提供给学习模型，从所述学习模型取得表示所述摄像机的拍摄时刻比所述第1影像超前从所述影像发送装置至所述数据接收部的第1影像数据的传送时间以上的第2影像的预测影像的第2影像数据。
CN202180097379.0A 2021-04-28 2021-04-28 影像传送系统、影像传送方法以及影像接收装置 Pending CN117178547A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/016888 WO2022230081A1 (ja) 2021-04-28 2021-04-28 映像伝送システム、映像伝送方法及び映像受信装置

Publications (1)

Publication Number Publication Date
CN117178547A true CN117178547A (zh) 2023-12-05

Family

ID=83847886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180097379.0A Pending CN117178547A (zh) 2021-04-28 2021-04-28 影像传送系统、影像传送方法以及影像接收装置

Country Status (5)

Country Link
US (1) US20240121508A1 (zh)
JP (1) JPWO2022230081A1 (zh)
CN (1) CN117178547A (zh)
DE (1) DE112021007596T5 (zh)
WO (1) WO2022230081A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10237548B2 (en) * 2015-01-22 2019-03-19 Huddly As Video transmission based on independently encoded background updates
JP2017118364A (ja) * 2015-12-24 2017-06-29 日本電信電話株式会社 コミュニケーションシステム、コミュニケーション装置およびコミュニケーションプログラム
JP2019029746A (ja) 2017-07-27 2019-02-21 住友電気工業株式会社 映像伝送システム、映像送信装置、映像受信装置、コンピュータプログラム、映像配信方法、映像送信方法および映像受信方法
JP2020005201A (ja) * 2018-06-29 2020-01-09 日本放送協会 送信装置及び受信装置
JP7339786B2 (ja) * 2019-06-24 2023-09-06 キヤノン株式会社 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
WO2021009155A1 (en) * 2019-07-17 2021-01-21 Koninklijke Kpn N.V. Facilitating video streaming and processing by edge computing

Also Published As

Publication number Publication date
DE112021007596T5 (de) 2024-04-11
JPWO2022230081A1 (zh) 2022-11-03
WO2022230081A1 (ja) 2022-11-03
US20240121508A1 (en) 2024-04-11

Similar Documents

Publication Publication Date Title
US20060262365A1 (en) Method, system and apparatus for imaging by remote control
EP2479990A3 (en) A system and method for tracking moving objects
US7668626B2 (en) Image displaying method with fluctuation correction and remote control system for moving unit using the method
KR20180100124A (ko) 비디오 시스템, 비디오 처리 방법, 프로그램, 카메라 시스템 및 비디오 컨버터
CN108141533A (zh) 摄像系统、视角调整方法以及视角调整程序
EP3796262A1 (en) Method and apparatus for calibrating camera
EP3048012A1 (en) Vision system and method of monitoring surroundings of machine
CN110636271A (zh) 半导体器件和消息图像输出方法
KR20130135305A (ko) 촬상 장치
US20170064128A1 (en) Imaging apparatus, recording instruction apparatus, image recording method and recording instruction method
CN117178547A (zh) 影像传送系统、影像传送方法以及影像接收装置
EP2442550B1 (en) Image capturing device, system and method
CN106322670B (zh) 一种空调及其远程控制方法和装置
JP2013026955A (ja) カメラおよびサーバ装置
JP4244361B1 (ja) 映像補正装置、映像補正方法、及び映像補正プログラム
WO2020039897A1 (ja) 駅監視システム及び駅監視方法
JP5583291B1 (ja) 遠隔操作受付システム、遠隔操作システム及びプログラム
JP6003613B2 (ja) 補助撮像装置
JP2014014011A (ja) 静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置
JP4225131B2 (ja) 磁界補正データ生成装置
WO2020039898A1 (ja) 駅監視装置、駅監視方法及びプログラム
JPWO2008018156A1 (ja) ゆらぎ補正による画像表示方法及びその方法を用いた動体リモートコントロールシステム
JP7187394B2 (ja) 指示値読取システムおよび方法並びにプログラム
CN116743937B (zh) 域控制器和车辆行驶控制方法
JP2024048256A (ja) データ伝送方法及びデータ伝送システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination