CN112788198B - 摄影装置、传送系统及方法、记录介质和计算机装置 - Google Patents

摄影装置、传送系统及方法、记录介质和计算机装置 Download PDF

Info

Publication number
CN112788198B
CN112788198B CN202011208121.7A CN202011208121A CN112788198B CN 112788198 B CN112788198 B CN 112788198B CN 202011208121 A CN202011208121 A CN 202011208121A CN 112788198 B CN112788198 B CN 112788198B
Authority
CN
China
Prior art keywords
image data
data
stream
data streams
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011208121.7A
Other languages
English (en)
Other versions
CN112788198A (zh
Inventor
户田善幸
加藤喜永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020180570A external-priority patent/JP7613052B2/ja
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN112788198A publication Critical patent/CN112788198A/zh
Application granted granted Critical
Publication of CN112788198B publication Critical patent/CN112788198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2405—Monitoring of the internal components or processes of the server, e.g. server load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本发明旨在提供一种可以用硬件编码器数量有限的摄影装置同时传送多个信息流图像数据的摄影装置、传送系统及传送方法、记录媒体和计算机装置。可以用来发送多个数据流的图像数据的摄影装置(10)具备，摄影处理部(15)，用于取得摄影单元(101)拍摄的摄影图像数据；判断部(14)，用于按照每个数据流的编码参数，决定所获得的摄影图像数据的编码方法；编码处理部(18)，用于用所决定编码方法，生成每个数据流的流图像数据；以及，通信部(11)，用于传送生成了的多个数据流的流图像数据。

Description

摄影装置、传送系统及方法、记录介质和计算机装置
技术领域
本发明涉及摄影装置、传送系统及传送方法、记录媒体和计算机装置。
背景技术
近年来，利用互联网上的传送服务，以信息流方式传送用摄影装置拍摄摄影图像的技术正在普及。而且，不通过PC或智能手机等终端，直接将摄影装置连接到互联网进行信息流传送的系统也广为众知。
进而，这种信息流传送中存在一种同时传送多个画质不同的信息流图像，用以让阅览一方的终端能够选择需要接收的信息流的技术。在这种情况下，传送一方的装置中对传送图像数据进行编码处理的处理能力变得十分重要，例如，专利文献1(JP特开2011-77564号公报)公开了一种技术方案，该方案中对软件编码器和硬件编码器分配处理，进行影像数据的编码，将经过编码的数据合成为一个数据流。
但是，现有的方法在硬件编码器数量有限的装置中不能同时进行各个数据流的编码处理，因此存在难以同时传送多个流图像数据的问题。
发明内容
为了解决上述课题，本发明提供一种可以发送多个数据流的图像数据的摄影装置，其中具备，取得部，用于取得摄影部拍摄的摄影图像数据；决定部，用于按照每个所述数据流的编码参数，决定所获得的摄影图像数据的编码方法；生成部，用于用所决定编码方法，生成每个所述数据流的流图像数据；以及，传送部，用于传送所生成的多个流图像数据。
本发明的效果在于，用硬件编码器数量有限的摄影装置同时传送多个信息流的图像数据。
附图说明
图1是第一实施方式涉及的传送系统的一例系统构成的示意图。
图2是第一实施方式涉及的传送系统的一例处理的示意图。
图3是第一实施方式涉及的摄影装置的一例硬件结构示意图。
图4是第一实施方式涉及的通信终端的一例硬件结构示意图。
图5是第一实施方式涉及的传送系统的一例功能结构模块图。
图6是第一实施方式涉及的一例编码参数管理表的示意图。
图7是第一实施方式涉及的传送系统中的一例图像传送处理的时序图。
图8是第一实施方式涉及的一例图像数据编码处理的流程图。
图9中(A)、(B)分别是第一实施方式涉及的编码参数管理表的示意图。
图10是第一实施方式的变形例涉及的一例图像数据编码处理的流程图。
图11是第一实施方式的变形例涉及的摄影装置中目标编码器改变时的一例编码参数管理表的示意图。
图12是第二实施方式涉及的传送系统的一例系统构成的示意图。
图13是第二实施方式涉及传送系统的一例处理的示意图。
图14是第二实施方式涉及的传送系统的一例功能结构模块图。
图15是第二实施方式涉及的传送系统中的一例图像传送处理的时序图。
具体实施方式
以下参考附图，说明本发明的实施方式。在附图的说明中对同一个要素赋予相同的符号，省略重复说明。
《第一实施方式》
〈系统构成〉
图1是第一实施方式涉及的传送系统的一例系统构成的示意图。图1所示的传送系统1可以向用户所使用的通信终端50以数据流方式传送由摄影装置10拍摄并取得的图像数据。
如图1所示，传送系统1具有摄影装置10和通信终端50。摄影装置10和通信终端50通过通信网络5可通信地连接。通信网络5包括互联网、移动通信网络、局域网(Local AreaNetwork)等。另外，通信网络5除了有线通信，还可以包括3G(3rd Generation)、4G(4thGeneration)、5G(5th Generation)、Wi-Fi(注册商标)、WiMAX(WorldwideInteroperability for Microwave Access)或LTE(Long Term Evolution)等无线通信网络。
摄影装置10是能够拍摄被摄体以获得摄影图像的数码相机。摄影装置10是例如用于获得全天球(360°)全景图像的特殊数码相机。摄影装置10也可以是一般的数码相机(单反相机、袖珍数码相机、监控摄像机或视频摄像头等)。摄影装置10通过互联网等通信网络5进行摄影图像图像数据的数据流传送。摄影图像无论是视频还是静止图像均可，还可以兼具动画和静画两种图像。进而，摄影图像可以包含与图像一起的声音。
通信终端50是用户使用的平板终端等终端装置。通信终端50通过访问互联网等通信网络5，与摄影装置10进行数据通信。通信终端50可接收从摄影装置10传送的流图像数据。通信终端50除了平板终端以外，也可以是PC(Personal Computer)、智能手机、手机、可穿戴终端、游戏机、视频会议(电视会议)终端、WB(Interactive White Board:具有可通信电子方式黑板功能的白板)、远程监控机器人等。
《传送系统处理概述》
在此简要说明第一实施方式涉及的传送系统的处理。图2用来简要说明第一实施方式涉及的传送系统，关于传送系统1的功能等具体内容将用后述的附图进行说明。
图2是第一实施方式涉及的传送系统的一例处理的简要示意图。在以多个数据流传送用摄影装置10拍摄的摄影图像数据的情况下，传送系统1通过将摄影装置10所具有的编码器分配到各个数据流进行并行处理，可以实现多个数据流的图像数据传送。
首先，摄影装置10取得作为图像传送对象的摄影图像数据。其次，摄影装置10准备多个画质不同的数据流，用以通信终端50能够按照例如通信网络5的网络频带状态等来接收所需画质的数据。摄影装置10根据执行数据流传送的流数以及每个流的编码参数，决定每个流的图像数据的编码方法。编码参数是指，表示经过编码器处理的图像数据画质的信息。然后，摄影装置10使用决定了的编码方法，对摄影图像数据的每一帧(例如，帧X)进行编码处理。
图2的例子中，摄影装置10使用硬件编码器(HW)对数据流1进行编码处理，对数据流2和数据流3使用软件编码器(SW)进行编码处理。帧X作为一帧摄影图像数据，经过指定的图像处理后并行输入到三个编码器中，按照各自的编码器中设置的编码参数并行进行编码处理。
然后，摄影装置10将经过编码的多个流图像数据分别作为独立的数据流，通过通信网络5传送到通信终端50。在这种情况下，用数据流1传送的流图像数据是高画质数据，用数据流2传送的流图像数据是中等画质数据，用数据流3传送的流图像数据是低画质数据。
在同时传送多个画质不同的流的图像数据时，传送一方的装置中大多使用专用的硬件编码器。但是，受到装置大小或装置内布置等物理性制约或价格等限制的诸如普通数码相机等摄影装置，由于其中安装的硬件编码器的数量有限，难以同时传送多个数据流。对此，传送系统1在用多个画质不同的数据流进行图像数据传送时，基于每个数据流的编码参数，把摄影装置10所具备的硬件编码器和软件编码器之中的某个编码器分配给每个数据流，进行分配编码处理。因此，传送系统1可以使用受到硬件数量约制的摄影装置10来传送多个画质不同的数据流图像数据。
《硬件构成》
以下用图3和图4说明实施方式中摄影装置10和通信终端50的硬件构成。在此，图3和图4所示的硬件构成可根据需要增添所设置元素。
<摄影装置的硬件构成>
首先用图3说明摄影装置10的硬件构成。图3是第一实施方式涉及的摄影装置的一例硬件构成。以下，摄影装置10是使用两个摄影元件的全天球(全方位)摄影装置，但摄影元件也可以是两个以上。摄影装置10不一定是全方位摄影专用的装置，也可以在一般的数码相机和智能手机等上日后安装的全方位摄影单元，实质上与摄影装置10具有相同功能。
如图3所示，摄影装置10包括摄像单元101、图像处理单元104、摄像控制单元105、硬件编码器106、麦克风108、音频处理单元109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM114、操作部115、外部寄存器I/F116、输入输出I/F117、网络I/F118和加速度方位传感器119。
其中，摄像单元101中配备用于各个半球图像成像的具有180°以上的视角的广角镜头(所谓的鱼眼镜头)102a、102b、以及与各广角镜头对应设置的两个摄像元件103a、103b。摄像元件103a、103b具有用于把广角镜头102a、102b将光学图像转换成电信号图像数据输出的CMOS(Complementary Metal Oxide Semiconductor)传感器和CCD(ChargeCoupled Device)传感器等图像传感器、用于生成该图像传感器的水平或垂直同步信号或像素时钟等的时机生成电路、该摄像元件的运行需要的各种指令和参数等已设定了的寄存器群组等。
摄像元件103a、103b分别通过并行I/F总线与图像处理单元104连接。摄像元件103a、103b分别通过串行I/F总线(I2C总线等)与摄像控制单元105连接。图像处理单元104、摄像控制单元105和音频处理单元109通过总线110连接CPU111。总线110进而把ROM112、SRAM113、DRAM 114、操作部115、外部寄存器I/F116、输入输出I/F117、网络I/F118以及加速度方位传感器119连接起来。
图像处理单元104通过并行I/F总线导入从摄影元件103a、103b输出的图像数据。然后，图像处理单元104对每个图像数据进行指定的处理后，对这些图像数据进行合成处理，以制作等距柱形映射图像(Equirectangular)的数据转换。
摄像控制单元105一般是将摄像控制单元105作为主设备、摄像元件103a、103b作为从属设备，利用I2C总线在摄像元件103a、103b的寄存器群中设定指令等。需要的指令是从CPU111接收。同样，摄像控制单元105利用I2C总线，取入摄像元件103a、103b的寄存器群的状态数据等，发送到CPU111。
摄像控制单元105在按动操作部115的快门按钮的时间点，指示摄像元件103a、103b输出图像数据。有些摄影装置10也具有显示器的预览显示功能、支持静止图像和视频的显示功能。关于视频，摄像元件103a、103b的图像数据的输出以规定帧速率(帧/分钟)连续进行。
如下文描述，摄像控制单元105还具有同步控制装置的功能，用于协同CPU111让摄像元件103a、103b的图像数据输出时机同步。虽然本实施方式中摄影装置10没有设置显示器，但也可以设置显示部。
硬件编码器106是使用H.264或MPEG-4等编码方式进行编码处理(压缩处理)的编码器。硬件编码器106受到可以同时执行的编码器处理的数量上限限制。
麦克风108从摄影装置10的周边环境中收集声音，将收集到的声音转换为音频(信号)数据。音频处理单元109通过I/F总线取入麦克风108输出的音频数据，对音频数据进行规定的处理。麦克风108构成分别从周围环境收集声音的集音装置。图3中仅显示麦克风108被内置于摄影装置10，但麦克风108可以是摄影装置10的外置装置。麦克风108的数量不限于一个，也可以有多个具有指定配置构成的麦克风。麦克风108也可以是多声道模拟立体(Ambisonics)麦克风。
CPU111控制摄影装置10的整体动作，同时执行必要的处理。ROM112是存储CPU111的各种程序的非易失性存储器。RAM113被用作为CPU111的工作区域，是存储在CPU111上运行的程序和处理过程中的数据等的易失性存储器。SRAM113存储在图像处理单元104中处理期间内的图像数据或处理完毕的等距柱形映射图像的数据。
操作部115是快门按钮等操作按钮的总称。用户通过操作操作部115，输入各种摄影模式或摄影条件等。外部寄存器I/F116用于控制记录介质等外部寄存器的数据读写(存储)。外部存储器也可以把经过编码的流图像数据作为图像文件(视频文件)来保存。
输入输出I/F117是用于连接外部设备的接口，用来在各种外部设备之间进行各种数据或信息的输入输出。输入输出I/F117不管是无线还是有线，均由USB(UniversalSerial Bus)I/F构成。网络I/F118是通过通信网络5进行数据通信的接口。网络I/F118由有线NIC(Network Interface Card)、无线NIC或USBI/F构成。
加速度方位传感器119根据地球的磁力计算摄影装置10的方位，输出方位信息。方位信息是基于Exif(Exchangeable image file format)的相关信息(元数据)的一个例子，用于摄影图像的图像补偿等图像处理。相关信息包括图像的拍摄日期以及图像数据的数据容量的各种数据。
摄影装置10不仅限于全天球(全方位)摄影装置，也可以是一般的数码相机、监控摄像头或视频摄像头等摄影装置。在这种情况下，作为摄影装置的摄影单元101由一组镜头和摄像元件构成。
<通信终端硬件构成>
接着，用图4说明通信终端50的硬件构成。图4是实施方式涉及的通信终端的一例硬件构成的示意图。通信终端50具有CPU501、ROM502、RAM503、输入装置504、显示器505、外部寄存器I/F506、输入输出I/F507和网络I/F508。
CPU501控制整个通信终端50的运行。ROM502是用于存储CPU501驱动程序的非易失存储器。RAM503是被作为CPU501工作区域的非易失性内存。输入装置504是用来接收用户操作输入的一种输入手段。输入装置504例如是键盘、鼠标、触控面板、按钮、用来拨号或音频输入的麦克风等。
显示器505是一种用来显示诸如光标、菜单、窗口、文字、图标或图像等各种信息的液晶或有机EL等显示装置。外部寄存器I/F506用于控制记录介质等外部寄存器的数据读写(存储)。输入输出I/F507是用于连接外部设备的接口，用来在各种外部设备之间进行各种数据或信息的输入输出。网络I/F508是通过通信网络5进行数据传送的接口。通信终端50配备有总线510。总线510是用于电连接CPU501等各构成要素的地址总线或数据总线等。
此外，上述各程序可以以可安装格式或可执行格式的文件，记录在计算机上可读的记录介质中流通。关于记录介质，可列举出CD-R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、蓝光光盘(注册商标)、SD卡、USB存储器等。记录介质可以作为程序产品(Program Product)提供到国内外。例如，摄影装置10通过执行本发明涉及的程序来实现本发明涉及的传送方法。
《功能构成》
以下用图5和图6说明第一实施方式涉及的传送系统的功能结构。图5是实施方式涉及的传送系统的一例功能构成模块图。图5显示图1所示的装置和终端之中与后述处理或动作相关的功能模块。
<摄影装置的功能构成>
首先用图5说明摄影装置10的功能构成。摄影装置10具有通信部11、受理部12、输入输出部13、判断部14、摄影处理部15、参数设定部16、图像处理部17、编码处理部18以及存储读取部19。这些功能部是由图3所示的各个构成要素按照从ROM112或SRAM113展开到DRAM114上的程序来执行来自CPU111的指令所运行的功能或者是发挥功能的装置。摄影装置10具有由图3所示的ROM112、SRAM113或DRAM114构筑的存储部1000。
通信部11用于通过来自图3所示的CPU111中的指令和网络I/F118实现的，经由通信网络5与通信终端50之间进行各种数据(或者信息)的收发。通信部11通过通信网络5将摄影处理部15拍摄的图像数据通过通信网络5传送到通信终端50。通信部11是传送部的一个示例。
受理部12由来自图3所示的CPU111的指令以及操作部115等的输入装置实现，用于接受来自用户的各种输入。判断部14由来自图3所示的CPU111的指令实现，用于进行各种判断。输入输出部13由来自图3所示的CPU111的指令和输入输出I/F117实现，用于与外部设备之间进行各种数据或信息的输入输出。判断部14例如根据每个数据流的编码参数，决定摄影图像数据的编码方法。具体来说，判断部14决定对每个数据流的摄影图像数据用硬件编码器和软件编码器之中的某一个编码器进行编码处理。判断部14是决定部的一个示例。
摄影处理部15由来自图3所示的CPU111中的指令以及摄像单元101、图像处理单元104、摄影控制单元105、麦克风108以及音频处理单元109实现的，用于拍摄被摄体和风景图像等，取得摄影图像数据。摄影处理部15是取得部的一个示例。
参数设定部16是由来自图3所示的CPU111的指令来实现，用于设定每个数据流的编码参数。参数设定部16是设定部的一个示例。图像处理部17用于对通过摄影处理部15获得的摄影图像数据进行各种处理。
编码部18由来自图4所示的CPU111的指令实现，用于采用决定了的编码方法进行摄影图像数据的编码处理。编码部18例如采用决定了的编码方法进行编码处理，生成每个数据流的流图像数据。当编码方法是使用硬件编码器的方法时，编码处理部18使用图3所示的硬件编码器106进行摄影图像数据的编码处理。而当编码方法是使用软件编码器的方法时，编码处理部18使用图3所示的CPU111执行专用软件运行的软件编码器进行摄影图像数据的编码处理。编码部18是生成部的一个示例。
存储读出部19由来自图3所示的CPU111的指令实现，用于把各种数据保存到存储部1000中，或者从存储部1000中读取各种数据。
<编码参数管理表>
图6是第一实施方式涉及的一例编码参数管理表的示意图。存储部1000由图6所示的编码参数管理表构成的编码参数管理DB1001所构筑。编码参数管理表中保存管理每个使用编码处理部18的数据流的编码方法。图6所示的编码参数管理表是如图3所示，在摄影装置10中具备一个硬件编码器106时的例子。此时的硬件编码器106可以同时执行的编码处理的数量为一个。
编码参数管理表中，按照每个传送图像数据的数据流，将编码参数和编码处理用的编码器相关联地保存起来进行管理。其中，编码参数中显示出表示每个数据流的图像数据的画质信息。表示画质的信息中包括例如图像数据的分辨率和帧速率。编码参数还可包含图像数据的位速率。当图像数据为影像数据时，编码参数被作为不仅表示画质而且还表示声音数据的音质的信息来处理。进而，编码参数还可以包含用于编码处理的加密方式。关于加密方式，静画时可以例举出JPEG(Joint Photographic Experts Group)或其发展体系(JPEG2000)、再或GIF(Graphics Interchange Format)等，影像图像时可以列举出MPEG(Moving Picture Expert Group Group)或其发展体系(H.264、H.265)等。
对象编码器例如在数据流1～数据流3中，按照编码参数的处理负荷大小顺序，负荷大的数据流被优先分配硬件编码器106。编码参数管理表中，例如硬件编码器106被分配给分辨率最大的数据流1，软件编码器被分配数据流2和数据流3。
<通信终端的功能构成>
接着用图5说明通信终端50的功能构成。通信终端50具有通信部51、受理部52、显示控制部53、判断部54以及存储读取部59。这些部分是通过图4中所示的各个构成要素中的任意一个，按照在RAM503上展开的程序，根据CPU501来操作的指令，来实现的功能或者是实现功能的装置。通信终端50还具有由图4所示的ROM502或外部存储器所构建的存储部5000。
通信部51由来自图4所示的CPU501的指令和网络I/F508实现，用于经由通信网络5与摄影装置10之间进行各种数据或信息的收发。
受理部52由图4所示的CPU501发出的指令和输入装置504实现，用于接受来自用户的各种输入操作。显示控制部53由来自图3所示的CPU501的指令和显示器505实现，用于在显示器505上显示用来接受用户输入操作的操作画面等各种画面。判断部54由来自图4所示的CPU501的指令实现，用于进行各种判断。存储读取部59由来自图4所示的CPU501的指令来执行，用于把各种数据保存到存储部5000中，或者从存储部5000中读取各种数据。
《第一实施方式的处理或运作》
以下用图7～图11说明第一实施方式涉及的传送系统的处理或运作。首先，用图7说明传送系统1的处理或运作的整个流程。图7是第一实施方式涉及的传送系统的一例图像传送处理时序图。
首先，通信终端50的受理部52通过接受用户对输入装置504的指定输入操作，受理流图像的传送开始请求(步骤S11)。通信部51向摄影装置10发送表示要求传传送流图像的图像传送请求(步骤S12)。由此，摄影装置10的通信部11收到由通信终端50发送的图像传送请求。通信终端50发送的图像传送请求中可以包含要求图像传送的数据流的流数以及每个数据流的编码参数的信息。另外，摄影装置10也可以以用户的操作部115操作或者摄影装置10的电源接通为触机，自动进行数据传送的处理。
其次，摄影装置10的摄影处理部15执行被摄体的摄影处理，获得摄影图像数据(步骤S13)。然后，摄影装置10对通过摄影处理部15获得的摄影图像数据执行编码处理(步骤S14)。
在此，用图8详述摄影装置10的摄影图像数据的编码处理。图8是第一实施方式涉及的一例图像数据编码处理的流程图。
首先，参数设定部16设定数据流的流数以及每个数据流的编码参数(步骤S101)。具体来说，参数设定部16根据通信部11收到的图像传送请求所包含的信息或通过输入输出部13输入的信息，将流数以及每个数据流的编码参数设定到编码参数管理DB1001(参阅图6)中。除此之外，参数设定部16可以将事先保存的用于数据流传送的信息作为编码参数进行设定。
其次，判断部14决定硬件编码器106的同时执行处理数量(步骤S102)。判断部14基于例如硬件编码器106的处理能力或在步骤S101设定的编码参数的值等，决定可以用硬件编码器106同时执行处理的数量。在图6所示的编码参数管理表的情况下，判断部14判断可供同时执行处理数量为一个。
其次，作为在步骤S11设定的每个数据流的摄影图像数据的编码方法，判断部14决定进行各数据流编码处理的对象编码器(步骤S103)。具体来说，判断部14用步骤S11中设定的编码参数，决定每个数据流将要使用硬件编码器106和软件编码器之中的哪一个编码器进行编码处理。判断部14以例如把硬件编码器106分配给处理负荷大的数据流的方式来决定目标编码器。硬件编码器106可供分配的流数与步骤S102中所决定的可供同时执行处理数量对应。
判断部14根据作为编码参数之一的图像数据的分辨率的值，把硬件编码器106分配给处理负荷较大的高分辨率的数据流，而把软件编码器分配给其他数据流。当使用图6所示的编码参数管理表时，判断部14把硬件编码器106分配给分辨率最高的数据流1，把软件编码器分配给数据流2和数据流3。
摄影处理部15取入由作为一例摄影装置的摄像单元101所拍摄到的摄影图像数据之中相当于一帧的摄影图像数据(步骤S104)。然后，图像处理部17对取入的摄影图像数据执行图像处理(步骤S105)。然后，编码部18根据对各个数据流设定的编码参数，用步骤S103决定的对象编码器，执行经过步骤S105处理的图像数据的编码处理(步骤S106)。然后，编码处理部18对每个数据流使用对象编码器执行编码处理，生成每个数据流的流图像数据。编码部18用硬件编码器和软件编码器，用多个数据流的对象编码器并行执行编码处理以及流图像数据的生成。
然后，通信部11将经过步骤S106编码处理的摄影图像数据，即流图像数据，传送到通信终端50(步骤S107)。向通信终端50传送流图像数据可以不通过通信网络5，而是用输入输出部13直接发送。
然后，当摄影处理部15所获得的全部帧的摄影图像数据的传送完毕时(步骤S108的是)，摄影装置10结束处理。而如果摄影处理部15获得的摄影图像数据中尚有未传送的帧(步骤S108的否)，则摄影装置10反复进行从步骤S104开始的处理，继续进行流图像数据的传送。
这样，摄影装置10在传送多个画质不同的数据流的图像数据时，可以根据每个数据流的图像数据的画质来决定合适的编码方法(使用硬件和软件中的哪一种编码器)。
返回图7，摄影装置10的通信部11如步骤S107所示，把经过步骤S14的编码处理所生成的多个流图像数据，通过通信网络5传送到通信终端50(步骤S15)。
其次，通信终端50在从摄影装置10传送的多个流图像数据中选择需要接收的数据(步骤S16)。具体来说，通信终端50的受理部52通过用户对输入装置504的指定输入操作，接受收到的流图像数据的选择。通信终端50的判断部54根据来自通信部51的网络频带信息，选择收到的流图像数据。然后，通信终端50的显示控制部53在显示器505上显示经过步骤S16选择后所接收的基于流图像数据的图像(步骤S17)。
在此说明另一例由上述判断部14决定的摄影图像数据的编码方法。首先，图9中的(A)所示的编码参数管理表与图6所示例子相比，其不同之处是，在如图3所示一个硬件编码器106之处，可以同时执行的编码处理的数量为两个。图9的(A)所示的编码参数管理表中，例如硬件编码器分配给分辨率最高的数据流1和第二高的数据流2，把软件编码器分配给数据流3。如此，摄影装置10便可以根据硬件编码器106的数量或者一个硬件编码器106可以同时执行的处理数量，把硬件编码器分配给多个数据流的编码处理。
图9的(B)中所示的编码参数管理表与图6所示例子的不同之处是，在编码参数之中各个数据流的帧速率不同。图9的(B)中所示的编码参数管理表中，例如把硬件编码器分配给帧速率最高的数据流1，把软件编码器分配给数据流2和3。如此，除了摄影图像数据的分辨率以外，摄影装置10还可以把图像数据的帧速率作为编码参数，通过用帧速率来判断编码器的处理负荷，决定用于每个数据流编码处理的对象编码器。
可以任意设定用来决定每个数据流的对象编码器(编码方法)的编码参数的种类。例如，在多个编码参数中，判断部54既可以优先用分辨率的值来决定对象编码器，也可以优先用帧速率的值来决定对象编码器。
〈第一实施方式的效果〉
第一实施方式的传送系统通过使用依照画质不同的各个数据流的编码参数所决定的编码方式，生成流图像数据，从而可以同时传送多个数据流的图像数据。
《第一实施方式的变形例》
以下用图10和图11说明第一实施方式的变形例涉及的传送系统。在以下的说明中，对于与上述的实施方式相同的构成和功能赋予相同的符号，省略其说明。第一实施方式的变形例涉及的传送系统1a可以在通过上述传送系统1从摄影装置10传送流图像数据期间改变图像数据的编码参数。
图10是第一实施方式的变形例涉及的一例图像数据编码处理的流程图。图10所示的步骤S201～步骤S208的处理与图8所示步骤S101～步骤S108的处理相同，因此省略说明。摄影装置10在持续发送流图像数据时(步骤S208的否)，处理步骤转往步骤S209。参数设定部16判断编码参数有无变化，并根据判断结果更改编码参数值。
摄影装置10的参数设定部16在编码参数发生变化的情况下(步骤S209的是)，处理转向步骤S210。具体来说，参数设定部16在通过通信部11或输入输出部13收到来自通信终端50的参数改变请求，或者通过受理部12受理了用户的输入操作所提出的参数改变请求时，改变编码参数管理DB1001中保存的编码参数的值。在图11的示例中，参数设定部16将帧速率互不相同的各个数据流编码参数之中的数据流2的帧速率从“10fps”改为“30fps”。另一方面，参数设定部16在编码参数未发生变化时(步骤S209的否)，反复进行步骤S204开始的处理。
其次，判断部14判断编码参数是否受到更改(步骤S209)。如果编码参数改变(步骤S209的是)，则根据被更改的编码参数，改变每个数据流的编码方法，改变用于编码的对象编码器(步骤S210)。具体来说，在图11所示的例子中，如果改变了数据流2的帧速率，则决定部14将重新计算编码器的分配，将处理负荷最大的高帧速率的数据流2的对象编码器从软件编码器更改为硬件编码器，并将帧速率比数据流2低的数据流1的对象编码器从硬件编码器改为软件编码器。
然后，摄影装置10用更改后的对象编码器反复进行从步骤S204开始的处理，继续发送流图像数据。另一方面，如果参数设定部16在编码参数没有改变，则返回步骤S204，用步骤S203决定的对象编码器继续传送经过处理的流图像数据。
这样，传送系统1a即使在图像数据的传送期间编码参数发生改变，也可以通过重新计算编码器的分配来自动改变编码方法，因此可以用最佳编码分配继续进行传送。
《第二实施方式》
以下用图12～图15对第二实施方式涉及的传送系统的构成。对于与第一实施方式相同的构成和功能，赋予相同的符号，省略其说明。第二实施方式涉及的传送系统能够通过传送控制装置90将摄影装置10生成的流图像数据传送到通信终端50。
〈系统构成〉
图12是表示第二实施方式涉及的传送系统的一例系统构成的示意图。图12所示的传送系统2是在第一实施方式的构成中增加了传送控制装置90。传送控制装置90可以通过通信网络5在摄影装置10和通信终端50之间相互通信。
传送控制装置90是服务器计算机，控制来自摄影装置10发送的流图像数据的传送。传送控制装置90既可以由单个计算机构建，也可以通过分割各个功能或装置任意分配给多台计算机来构建。由于传送控制装置90的硬件构成是与图4所示的通信终端50相同或改变其中一部分的硬件构成，因此省略说明。
〈概述〉
图13是第二实施方式涉及的传送系统的处理的件要示意图。关于由摄影装置10生成每个数据流的流图像数据的处理，与第一实施方式中说明的处理相同。
摄影装置10将生成的每个数据流的流图像数据通过通信网络5发送到传送控制装置90。传送控制装置90将收到的多个流数据存储在存储部9000中。然后，传送控制装置90根据来自通信终端50的请求，将由摄影装置10发送并保存在存储部9000中的流图像数据传送到通信终端50。
如图13所示，传送控制装置90可以向多个通信终端50(通信终端50A和通信终端50B)同时发送流图像数据。传送控制装置90不仅可以发送对应通信终端50的请求的流数据数据，而且还可以向各个通信终端50发送不同数据流的流动图像数据。据此，通过使用传送控制装置90，传送系统2可以按照每个通信终端50的网络带域状态等，以适合各个通信终端50的数据流来传送摄影装置10发送的流图像数据。
〈功能构成〉
接着说明第二实施方式涉及的传送系统的功能构成。图14是第二实施方式涉及的传送系统的一例功能结构模块图。摄影装置10及通信终端50(通信终端50A、50B)的功能构成与图5所示相同，因此省略说明。
传送控制装置90具有通信部91以及存储读取部99。这些功能部是通过图4所示的各个构成要素中的任意一个要素按照在RAM503上展开的程序来根据来自CPU501的指令所实现的功能或者是功能装置。传送控制装置90具有图4所示的ROM502或外部存储器所构建的存储部9000。
通信部91由图4所示的CPU501发出的指令和网络I/F508实现，用于通过通信网络5在摄影装置10和通信终端50之间进行各种数据或信息的收发。存储读取部99由图4所示的CPU501发出的指令执行，用于把各种数据保存到存储部9000中，或者从存储部9000中读取各种数据。存储部9000中保存从摄影装置10发送的流图像数据。
〈第二实施方式的处理或运作〉
以下用图15说明第二实施方式涉及的传送系统的处理或运作。图15是第二实施方式涉及的传送系统的一例图像传送处理的时序图。
首先，传送控制装置90的通信部91向摄影装置10发送图像取得请求，要求取得数据流图像(步骤S51)。由此，摄影装置10的通信部11收到传送控制装置90发送的图像取得请求。传送控制装置90发送的图像取得请求中可以包含要求图像取得的数据流的流数以及每个数据流的编码参数的信息。摄影装置10可以以用户在操作部115上的操作或者摄影装置10的电源接通为触机，自动开始进行图像取得的处理。
其次，摄影装置10的摄影处理部15进行摄影处理(步骤S52)。然后，摄影装置10对摄影处理部15获得的摄影图像数据执行编码处理(步骤S53)。在此，由于步骤S53的编码处理与图8所示的内容相同，因此省略说明。
其次，摄影装置10的通信部11通过通信网络5，把经过步骤S14编码处理所生成的多个流图像数据传送到传送控制装置90(步骤S54)。由此，传送控制装置90的通信部91收到从摄影装置10发送的多个流图像数据。然后，传送控制装置90的存储读取部99将通过通信部91收到的流图像数据保存在存储部9000中(步骤S55)。这样，传送控制装置90暂时性地保存了从摄影装置10发送的流图像数据。
其次，通信终端50A的通信部51A，根据受理部52A受理的用户请求，向传送控制装置90发送图像传送请求，要求发送流图像(步骤S56)。由此，传送控制装置90的通信部91收到从通信终端50A发送的图像传送请求。而后，传送控制装置90的通信部91向通信终端50A发送保存在存储部9000中的多个流图像数据(步骤S57)。
通信终端50A在由传送控制装置90发送的多个流图像数据中选择要接收的数据(步骤S58)。具体来说，通信终端50A的受理部52A通过用户在输入装置504上的指定输入操作，接受要接收的流图像数据的选择。通信终端50A的判断部54A根据通信部51A的网络频带的信息，选择要接收的流图像数据。而后，通信终端50A的显示控制部53A在显示器505上显示在步骤S58中选定并接收的基于流图像数据的图像(步骤S59)。
另一方面，通信终端50B的通信部51B根据受理部52B所收到的用户要求，向传送控制装置90发送图像传送请求，要求发送流图像(步骤S60)。由此，传送控制装置90的通信部91收到从通信终端50B发送的图像传送请求。而后，传送控制装置90的通信部91向通信终端50B发送保存在存储部9000中的多个流图像数据(步骤S61)。
与步骤S58的处理相同，通信终端50B在传送控制装置90发送的多个流图像数据中选择将要接收的数据(步骤S62)。而后，通信终端50B的显示控制部53B在显示器505上显示在步骤S62中选定并接收的基于流图像数据的图像(步骤S63)。步骤S56～步骤S59和步骤S60～步骤S63的处理顺序可以前后不同，也可以并行。
〈第二实施方式的效果〉
第二实施方式的传送系统通过采用传送控制装置90，可以根据各个通信终端50的网络带域状态等，以适合于通信终端50的数据流来发送摄影装置10发送的流图像数据。
《总结》
如上所述，本发明的一个实施方式涉及的摄影装置，是可以发送多个数据流的图像数据的摄影装置10，其中具备，摄影处理部15(取得部的一个例子)，用于取得摄影单元101(摄影部的一个例子)拍摄的摄影图像数据；判断部14(决定部的一个例子)，用于按照每个数据流的编码参数，决定所获得的摄影图像数据的编码方法；编码处理部18(生成部的一个例子)，用于用所决定编码方法，生成每个数据流的流图像数据；以及，通信部11(传送部的一个例子)，用于传送生成了的多个数据流的流图像数据。这样，摄影装置10通过使用基于画质的合适的编码方法来进行编码处理，可以同时发送多个数据流的图像数据。
本发明的一种实施方式涉及的摄影装置还至少具备一个硬件编码器106以及软件编码器。然后，在摄影装置10中，编码处理部18(生成部的一个例子)对于处理负荷大的高分辨率或者高帧速率的编码参数所对应的数据流，使用硬件编码器106生成流图像数据。据此，即使在硬件编码器数量有限的情况下，摄影装置10也可同时传送多个数据流的图像数据。
进而，在本发明的一种实施方式涉及的摄影装置中，编码处理部18(生成部的一个例子)用硬件编码器106和软件编码器，并行生成多个流图像数据。由此，摄影装置10可以使用硬件编码器数量有限的摄影装置来同时传送多个数据流的图像数据。
最后，本发明的一种实施方式涉及的摄影装置具备用于设定每个数据流的编码参数的参数设定部16(设定部的一个例子)。在摄影装置10中，当设定了的编码参数发生改变时，判断部14(决定部的一例)改变决定了的编码方法。这样，即使在流图像数据的传送过程中编码参数发生变化，摄影装置10也可以通过重新计算编码器的分配，来自动更改编码方法，用最佳的编码器分配来继续数据流传送给。
《补充》
上述实施方式的各个功能可通过一个或多个处理电路实现。本说明书中的"处理电路"是指，如同用电子电路安装的处理器那样，通过编程可以用软件执行各个功能的处理器，或者被设计为执行上述各个功能的ASIC(Application Specific IntegratedCircuit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)，或传统的电路模块等设备。
上述实施方式的各种表格，既可以是通过机器学习的学习效果生成，也可以通过机器学习把相关的各个项目的数据进行分类，从而也可以不使用表格。在此，机器学习是指用于让计算机获得如同人的学习能力的技术，是指从事先导入的学习数据中自律生成数据识别等的判断所需的算法，并对新数据采用该算法进行应用来作出预测的技术。机器学习的学习方法不仅可以是有教师学习、无教师学习、半教师学习、强化学习、深层学习中的任何一种方法，而且可以是把这些学习方法结合起来的学习方法，可以是任意的用于机器学习的学习方法。
以上说明了本发明的一种实施方式涉及的摄影装置、传送系统、传送方法以及记录介质和计算机装置，但是，本发明不受上述实施方式的限制，还可以是本技术领域可预测范围内对上述实施方式进行增删或改变的其他实施方式等。而无论何种实施方式，只要起到本发明的作用效果，就属于本发明范畴。
符号说明
1传送系统，5通信网络，10摄影装置，11通信部(传送部的一个例子)，14判断部(决定部的一个例子)，15摄影处理部(取得部的一个例子)，16参数设定部(设定部的一个例子)，18编码处理部(生成部的一个例子)，50通信终端，90传送控制装置，101摄像单元(摄影部的一个例子)。

Claims (8)

1.一种可以发送多个数据流的图像数据的摄影装置，其中具备，
取得部，用于取得摄影部拍摄的摄影图像数据，将所述摄影图像数据分为多个所述数据流；
决定部，用于按照每个所述数据流的编码参数，决定所获得的摄影图像数据的编码方法；
生成部，用于用所决定编码方法，生成每个所述数据流的流图像数据，所述生成部用硬件编码器和软件编码器，并行生成多个流图像数据，从具有需要最高分辨率的编码参数的数据流开始，将多个数据流中的一个或多个分配给所述硬件编码器，直到分配的数据流数量达到可由所述硬件编码器并发执行的处理数量，并且将已分配给所述硬件编码器的一个或多个数据流以外的多个数据流中的另一个或多个数据流分配给所述软件编码器；以及，
传送部，用于传送所生成的多个流图像数据。
2.根据权利要求1所述的摄影装置，其中，
所述编码参数是所述流图像数据的帧速率，
所述生成部对于所述帧速率高的数据流，用硬件编码器生成所述流图像数据。
3.根据权利要求1至2中任意一项所述的摄影装置，其中，
具备设定部，用于设定每个所述数据流的编码参数，
所述决定部按照所述设定部设定的编码参数，决定所取得的所述摄影图像数据的编码方法。
4.根据权利要求3所述的摄影装置，其中，当设定了的编码参数发生变化时，所述决定部改变决定了的所述编码方法。
5.一种传送系统，其中具有可以发送多个数据流的图像数据的摄影装置，其中具备，
取得部，用于取得摄影部拍摄的摄影图像数据，将所述摄影图像数据分为多个所述数据流；
决定部，用于按照每个所述数据流的编码参数，决定所获得的摄影图像数据的编码方法；
生成部，用于用所决定编码方法，生成每个所述数据流的流图像数据，所述生成部用硬件编码器和软件编码器，并行生成多个流图像数据，从具有需要最高分辨率的编码参数的数据流开始，将多个数据流中的一个或多个分配给所述硬件编码器，直到分配的数据流数量达到可由所述硬件编码器并发执行的处理数量，并且将已分配给所述硬件编码器的一个或多个数据流以外的多个数据流中的另一个或多个数据流分配给所述软件编码器；以及，
传送部，用于传送生成了的多个数据流的流图像数据。
6.一种由可以发送多个数据流的图像数据的摄影装置执行的传送方法，其中包括，
取得步骤，取得摄影部拍摄的摄影图像数据，将所述摄影图像数据分为多个所述数据流；
决定步骤，按照每个所述数据流的编码参数，决定所获得的摄影图像数据的编码方法；
生成步骤，用所决定编码方法，生成每个所述数据流的流图像数据，所述生成步骤用硬件编码器和软件编码器，并行生成多个流图像数据，从具有需要最高分辨率的编码参数的数据流开始，将多个数据流中的一个或多个分配给所述硬件编码器，直到分配的数据流数量达到可由所述硬件编码器并发执行的处理数量，并且将已分配给所述硬件编码器的一个或多个数据流以外的多个数据流中的另一个或多个数据流分配给所述软件编码器；以及，
传送步骤，传送生成了的多个数据流的流图像数据。
7.一种计算机可读的记录介质，其中保存用于让可以发送多个数据流的图像数据的摄影装置执行包括以下步骤的程序，
取得步骤，取得摄影部拍摄的摄影图像数据，将所述摄影图像数据分为多个所述数据流；
决定步骤，按照每个所述数据流的编码参数，决定所获得的摄影图像数据的编码方法；
生成步骤，用所决定编码方法，生成每个所述数据流的流图像数据，所述生成步骤用硬件编码器和软件编码器，并行生成多个流图像数据，从具有需要最高分辨率的编码参数的数据流开始，将多个数据流中的一个或多个分配给所述硬件编码器，直到分配的数据流数量达到可由所述硬件编码器并发执行的处理数量，并且将已分配给所述硬件编码器的一个或多个数据流以外的多个数据流中的另一个或多个数据流分配给所述软件编码器；以及，
传送步骤，传送生成了的多个数据流的流图像数据。
8.一种计算机装置，其中具备保存了程序的存储装置和处理器，所述程序通过所述处理器执行，实现以下步骤，
取得步骤，取得摄影部拍摄的摄影图像数据，将所述摄影图像数据分为多个数据流；
决定步骤，按照每个所述数据流的编码参数，决定所获得的摄影图像数据的编码方法；
生成步骤，用所决定编码方法，生成每个所述数据流的流图像数据，所述生成步骤用硬件编码器和软件编码器，并行生成多个流图像数据，从具有需要最高分辨率的编码参数的数据流开始，将多个数据流中的一个或多个分配给所述硬件编码器，直到分配的数据流数量达到可由所述硬件编码器并发执行的处理数量，并且将已分配给所述硬件编码器的一个或多个数据流以外的多个数据流中的另一个或多个数据流分配给所述软件编码器；以及，
传送步骤，传送生成了的多个数据流的流图像数据。
CN202011208121.7A 2019-11-11 2020-11-03 摄影装置、传送系统及方法、记录介质和计算机装置 Active CN112788198B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-203724 2019-11-11
JP2019203724 2019-11-11
JP2020180570A JP7613052B2 (ja) 2019-11-11 2020-10-28 撮影装置、配信システム、配信方法およびプログラム
JP2020-180570 2020-10-28

Publications (2)

Publication Number Publication Date
CN112788198A CN112788198A (zh) 2021-05-11
CN112788198B true CN112788198B (zh) 2024-04-23

Family

ID=73059663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011208121.7A Active CN112788198B (zh) 2019-11-11 2020-11-03 摄影装置、传送系统及方法、记录介质和计算机装置

Country Status (3)

Country Link
US (1) US11284094B2 (zh)
EP (1) EP3820153A1 (zh)
CN (1) CN112788198B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12189753B2 (en) * 2020-10-05 2025-01-07 Lenovo (Singapore) Pte. Ltd. Permitting device use based on location recognized from camera input
US12395633B1 (en) * 2022-05-20 2025-08-19 Meta Platforms, Inc. Systems and methods for video decoder management
CN117615141B (zh) * 2023-11-23 2024-08-02 镕铭微电子(济南)有限公司 视频的编码方法、系统、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160965A (ja) * 1999-12-01 2001-06-12 Toshiba Corp 画像符号化装置及び画像符号化方法
WO2009128227A1 (en) * 2008-04-13 2009-10-22 Thomson Licensing Encoding apparatus of video data and sound data, encoding method thereof, and video editing system
CN104185062A (zh) * 2013-05-27 2014-12-03 中兴通讯股份有限公司 一种终端处理视频流的方法及终端
CN105916002A (zh) * 2016-02-05 2016-08-31 四川长虹电器股份有限公司 一种实现软硬解码切换的播放器多窗口显示系统及方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6859496B1 (en) * 1998-05-29 2005-02-22 International Business Machines Corporation Adaptively encoding multiple streams of video data in parallel for multiplexing onto a constant bit rate channel
US6674796B1 (en) * 2000-02-14 2004-01-06 Harmonic, Inc. Statistical multiplexed video encoding for diverse video formats
US20030058942A1 (en) * 2001-06-01 2003-03-27 Christian Hentschel Method of running an algorithm and a scalable programmable processing device
WO2003050758A2 (en) * 2001-12-12 2003-06-19 Koninklijke Philips Electronics N.V. Processing a media signal on a media system
US8879856B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
US20090052540A1 (en) * 2007-08-23 2009-02-26 Imagine Communication Ltd. Quality based video encoding
JP2010244316A (ja) * 2009-04-07 2010-10-28 Sony Corp 符号化装置および方法、並びに、復号装置および方法
US10165286B2 (en) * 2009-07-08 2018-12-25 Dejero Labs Inc. System and method for automatic encoder adjustment based on transport data
US10045089B2 (en) * 2011-08-02 2018-08-07 Apple Inc. Selection of encoder and decoder for a video communications session
KR101899851B1 (ko) * 2012-05-03 2018-09-18 삼성전자 주식회사 이미지 처리 장치 및 방법
US8928678B2 (en) * 2012-08-02 2015-01-06 Intel Corporation Media workload scheduler
JP5843033B1 (ja) 2014-05-15 2016-01-13 株式会社リコー 撮像システム、撮像装置、プログラムおよびシステム
US10567733B2 (en) * 2017-03-06 2020-02-18 Nextvr Inc. Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content
US10462203B2 (en) * 2017-06-13 2019-10-29 Wowza Media Systems, LLC Hardware encoder
US10694239B1 (en) * 2018-12-12 2020-06-23 Sling Media Pvt Ltd Systems, methods, and devices for optimizing streaming bitrate based on multiclient display profiles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160965A (ja) * 1999-12-01 2001-06-12 Toshiba Corp 画像符号化装置及び画像符号化方法
WO2009128227A1 (en) * 2008-04-13 2009-10-22 Thomson Licensing Encoding apparatus of video data and sound data, encoding method thereof, and video editing system
CN104185062A (zh) * 2013-05-27 2014-12-03 中兴通讯股份有限公司 一种终端处理视频流的方法及终端
CN105916002A (zh) * 2016-02-05 2016-08-31 四川长虹电器股份有限公司 一种实现软硬解码切换的播放器多窗口显示系统及方法

Also Published As

Publication number Publication date
US20210144393A1 (en) 2021-05-13
EP3820153A1 (en) 2021-05-12
CN112788198A (zh) 2021-05-11
US11284094B2 (en) 2022-03-22

Similar Documents

Publication Publication Date Title
JP6756269B2 (ja) 通信端末、画像通信システム、通信方法、及びプログラム
US20140244858A1 (en) Communication system and relaying device
JP6992338B2 (ja) 通信システム、通信管理方法、プログラム、システム及び通信方法
US8988558B2 (en) Image overlay in a mobile device
CN112788198B (zh) 摄影装置、传送系统及方法、记录介质和计算机装置
JP2018129716A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2008225600A (ja) 画像表示システム、画像送信装置、画像送信方法、画像表示装置、画像表示方法およびプログラム
US20170359552A1 (en) Imaging apparatus, electronic device and imaging system
JP2015056807A (ja) 撮像装置及びその制御方法
JP2011010331A (ja) ディジタルビデオデータを処理するための繰り返し使用可能なフロントエンドを有するモジュラアーキテクチャ
CN114298889A (zh) 图像处理电路和图像处理方法
KR20110052933A (ko) 촬영장치 및 촬영영상 제공방법
KR102186383B1 (ko) 이미지를 처리하는 전자장치 및 방법
US9609215B2 (en) Moving-image recording/reproduction apparatus
US20190306462A1 (en) Image processing apparatus, videoconference system, image processing method, and recording medium
JP7613052B2 (ja) 撮影装置、配信システム、配信方法およびプログラム
JP2008109364A (ja) カメラサーバシステム、データの処理方法、およびカメラサーバ
JP7512896B2 (ja) 情報処理装置、情報処理方法、プログラム、および、情報処理システム
KR102301940B1 (ko) 이미지 합성 방법 및 장치
US20150235650A1 (en) Terminal device and communication system
JP7017045B2 (ja) 通信端末、表示方法、及びプログラム
KR101341862B1 (ko) 플로우 모션 영상 촬영 방법 및 시스템
JP2013115666A (ja) 撮像装置、動画記録装置、制御方法、プログラム、及び動画記録システム
US20150373073A1 (en) Image pickup apparatus, control method and recording medium
JP6739030B2 (ja) 撮像装置、電子機器及び撮像システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant