CN110710222A - 视频发送装置和视频接收装置 - Google Patents

视频发送装置和视频接收装置 Download PDF

Info

Publication number
CN110710222A
CN110710222A CN201880036627.9A CN201880036627A CN110710222A CN 110710222 A CN110710222 A CN 110710222A CN 201880036627 A CN201880036627 A CN 201880036627A CN 110710222 A CN110710222 A CN 110710222A
Authority
CN
China
Prior art keywords
data
roi
image
region
rois
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880036627.9A
Other languages
English (en)
Inventor
吉持直树
杉冈达也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN110710222A publication Critical patent/CN110710222A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Communication Control (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

根据本公开的一个实施例的视频发送装置设置有发送单元，用于通过长分组的有效载荷数据发送图像中ROI的图像数据，并通过嵌入数据发送与ROI相关的信息。

Description

视频发送装置和视频接收装置
技术领域
本公开涉及视频发送装置和视频接收装置。
背景技术
近年来，用于发送具有大数据量的大量数据的应用一直在增加。传输系统很可能负载很重，在最坏的情况下，传输系统可能会停机，数据发送无法执行。
为了防止传输系统停机，例如，代替发送整个拍摄图像，仅发送通过指定要拍摄的对象并切除所识别的对象而获得的部分图像。应当注意，例如，以下专利文献描述了从拍摄的图像中切除部分图像。
引用列表
专利文献
PTL 1：日本未审查专利申请公开号2016-201756
PTL 2：日本未审查专利申请公开号2014-39219
PTL 3：日本未审查专利申请公开号2013-164834
PTL 4：日本未审查专利申请公开号2012-209831
发明内容
顺便提及，作为用于从图像传感器向应用处理器发送的系统，在一些情况下使用MIPI(移动工业处理器接口)CSI(相机串行接口)-2、MIPI CSI-3等。此外，作为用于从应用处理器发送到显示器的系统，在一些情况下使用MIPI DSI(显示器串行接口)等。在使用这些系统发送从捕捉的图像提取的部分区域(ROI(感兴趣区域))的情况下，由于各种限制，ROI的发送可能不容易。因此，希望提供一种即使在各种限制下也能够发送ROI的视频发送装置和视频接收装置。
根据本公开的实施方式的第一视频发送装置包括发送部，该发送部以长分组的有效载荷数据发送图像中的ROI的图像数据，并以嵌入数据发送关于ROI的信息。长分组的有效载荷数据是指要在装置之间传输的主数据(应用数据)。嵌入数据是指可以嵌入图像数据帧的帧头或帧尾的其他信息。
在根据本公开的实施方式的第一视频发送装置中，以长分组的有效载荷数据发送图像中的ROI的图像数据，并以嵌入数据发送关于ROI的信息。这使得可以容易地从已经接收到从视频发送装置发送的发送信号的装置中的发送信号中提取ROI的图像数据。
根据本公开的一个实施方式的第二视频发送装置包括检测器，其基于关于图像中相应ROI的信息来检测两个或更多个ROI彼此重叠的重叠区域。第二视频发送装置还包括发送部，其以长分组的有效载荷数据发送多条第三图像数据，通过从图像中的ROI的多条第一图像数据中省略重叠区域的第二图像数据来获得多条第三图像数据，以避免第二图像数据冗余地包括在多条第一图像数据中。发送部还以嵌入数据发送图像中的相应ROI的信息。
在根据本公开的实施方式的第二视频发送装置中，以长分组的有效载荷数据发送多条第三图像数据，并且以嵌入数据发送关于图像中的相应ROI的信息。这使得可以容易地从已经接收到从视频发送装置发送的发送信号的装置中的发送信号中提取ROI的图像数据。
根据本公开的实施方式的视频接收装置包括接收部，该接收部，其接收在长分组的有效载荷数据中包括的图像中的ROI(感兴趣区域)的图像数据和在嵌入数据中包括的关于所述ROI的信息的发送信号。视频接收装置还包括信息处理器，其从包括在由接收部接收的发送信号中的嵌入数据中提取关于ROI的信息，并且基于提取的信息从包括在由接收部接收的发送信号中的有效载荷数据中提取ROI的图像数据。
在根据本公开的实施方式的视频接收装置中，从由接收部接收的发送信号中包括的嵌入数据中提取关于ROI的信息，并且基于提取的关于ROI的信息，从由接收部接收的发送信号中包括的长分组的有效载荷数据中提取ROI的图像数据。这使得可以容易地从发送信号中提取ROI的图像数据。
根据本公开的实施方式的第一和第二视频发送装置以及视频接收装置，可以容易地从已经接收到从视频发送装置发送的发送信号的装置中的发送信号提取ROI的图像数据，这使得即使在各种限制下也可以发送ROI。应当注意，本公开的效果不一定局限于此处描述的效果，并且可以是本说明书中描述的任何效果。
附图说明
图1是示出视频传输系统的示意性配置实例的示图；
图2是示出图1中的视频发送装置的示意性配置实例的示图；
图3是示出在捕捉图像中包括两个ROI的情况下的发送数据生成过程的实例的示图；
图4是示出分组报头的配置实例的示图；
图5是示出发送数据的配置实例的示图；
图6是示出发送数据的配置实例的示图；
图7是示出长分组的有效载荷数据的配置实例的示图；
图8是示出图1中的视频接收装置的示意性配置实例的示图；
图9是示出在发送数据中包括两个图像的情况下，用于生成捕捉图像中包括的两个ROI图像的过程的实例的示图；
图10是示出图1中的视频接收装置的示意性配置的变型例的示图；
图11是示出一行的配置的变型例的示图；
图12是示出一行的配置的变型例的示图；
图13是示出图1中的视频发送装置的示意性配置的变型例的示图；
图14是示出发送数据的配置实例的示图。
具体实施方式
下面参考附图详细描述本公开的一些实施方式。给出了本公开的具体实例的以下描述，并且本公开不限于以下实施方式。
<实施方式>
[配置]
近年来，在诸如智能手机、相机装置等便携式装置中，要处理的图像数据的量已经增加，并且在装置中或不同装置之间的数据发送中要求更高的速度和更低的功耗。为了满足这些需求，由MIPI联盟定义的高速接口规范(例如，C-PHY规范和D-PHY规范)的标准化已经被推广为便携式装置和相机装置的耦合接口。C-PHY规范和D-PHY规范是通信协议的物理层(PHY)接口规范。此外，用于便携式装置的显示器的DSI和用于相机装置的CSI作为C-PHY规范和D-PHY规范的上层协议层存在。
根据本公开的实施方式的视频传输系统1是根据MIPI CSI-2规范、MIPI CSI-3规范或MIPI DSI规范发送和接收信号的系统。图1示出了根据本实施方式的视频传输系统1的概述。视频传输系统1应用于数据信号、时钟信号和控制信号的传输，并且包括视频发送装置100和视频接收装置200。视频传输系统1包括例如在视频发送装置100和视频接收装置200上的数据通道D1、时钟信道C1和相机控制接口CCI。数据通道发送数据信号，例如，图像数据。时钟信道C1发送时钟信号。相机控制接口CCI发送控制信号。尽管图1示出了提供一个数据通道D1的实例，但是可以提供多个数据通道D1。相机控制接口CCI是与I2C(内部集成电路)规范兼容的双向控制接口。
视频发送装置100是根据MIPI CSI-2规范、MIPI CSI-3规范或MIPI DSI规范发送信号的装置，并且包括CSI发射机100A和CCI从装置100B。视频接收装置200包括CSI接收器200A和CCI主装置200B。在时钟信道C1中，CSI发射机100A和CSI接收器200A通过时钟信号线彼此耦合。在数据通道D1中，CSI发射机100A和CSI接收器200A通过时钟信号线彼此耦合。在相机控制接口CCI中，CCI从装置100B和CCI主装置200B通过控制信号线彼此耦合。
CSI发射机100A用作差分信号发送电路，其生成差分时钟信号，作为时钟信号，并将差分时钟信号输出到时钟信号线。CSI发射机100A还用作差分信号发送电路，其生成差分数据信号，作为数据信号，并将差分数据信号输出到数据信号线。CSI接收器200A用作差分信号接收电路，其通过时钟信号线接收差分时钟信号，作为时钟信号，并对接收的差分信号时钟信号执行预定处理。CSI接收器200A还用作差分信号接收电路，其通过数据信号线接收差分数据信号，作为数据信号，并对接收的差分数据信号执行预定处理。
(视频发送装置100)
图2示出了视频发送装置100的配置实例。视频发送装置100对应于CSI发射机100A的特定实例。视频发送装置100包括例如成像部110、图像处理器120和130以及发送部140。视频发送装置100通过数据通道D1向视频接收装置200发送发送数据147A。通过对由成像部110获得的捕捉图像111执行预定处理来生成发送数据147A。图3示出了用于生成发送数据147A的过程的实例。
成像部110将通过例如光学透镜获得的光学图像信号转换成图像数据。成像部110包括例如CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器。成像部110包括模数转换电路，并将模拟图像数据转换成数字图像数据。转换数据的格式可以是YCbCr格式，其中，像素的颜色由亮度分量Y和色差分量Cb和Cr表示，或者可以是RGB格式。成像部110将通过成像获得的捕捉图像111(数字图像数据)输出到图像处理器120。
图像处理器120是对从成像部110输入的捕捉图像111执行预定处理的电路。在通过相机控制接口CCI从视频接收装置200输入指示用于切除ROI的指令的控制信号的情况下，图像处理器120对从成像部110输入的捕捉图像111执行预定处理。结果，图像处理器120生成各种数据(120A、120B和120C)，并将这些数据输出到发送部140。图像处理器130是对从成像部110输入的捕捉图像111执行预定处理的电路。在通过相机控制接口CCI从视频接收装置200输入指示用于输出正常图像的指令的控制信号的情况下，图像处理器130对从成像部110输入的捕捉图像111执行预定处理。结果，图像处理器130生成图像数据130A，并将图像数据130A输出到发送部140。
图像处理器130包括例如编码器131。编码器131对捕捉图像111进行编码，以生成压缩图像数据130A。作为压缩图像数据130A的格式，图像处理器130通过例如符合JPEG(联合摄影专家组)规范等的压缩格式来压缩捕捉图像111。
图像处理器120包括例如ROI切割部121、ROI解释器122、重叠检测器123、优先级设置部124、编码器125和图像处理控制器126。
ROI切割部121识别包括在从成像部110输入的捕捉图像111中的一个或多个要拍摄的对象，并且为每个指定的对象设置感兴趣区域ROI。感兴趣区域ROI例如是包括所识别对象的正方形区域。ROI切割部121从捕捉图像111中切割每个感兴趣区域ROI的图像(例如，图3中的ROI图像112)。ROI切割部121还将区域号作为标识符分配给每个设定的感兴趣区域ROI。例如，在捕捉图像111中设置了两个感兴趣区域ROI的情况下，ROI切割部121将区域号1提供给一个感兴趣区域ROI(例如，图3中的感兴趣区域ROI1)，并将区域号2提供给另一感兴趣区域ROI(例如，图3中的感兴趣区域ROI2)。ROI切割部121在存储部中存储例如分配的标识符(区域号)。ROI切割部121将例如从捕捉图像111切割的每个ROI图像112存储在存储部中。ROI切割部121还例如与ROI图像112相关联地将分配给相应感兴趣区域ROI的标识符(区域号)存储在存储部中。
ROI解释器122针对每个感兴趣区域ROI导出在捕捉图像111中感兴趣区域ROI的位置信息113。位置信息113包括例如感兴趣区域ROI的左上坐标(Xa，Ya)、感兴趣区域ROI在X轴方向上的长度以及感兴趣区域ROI在Y轴方向上的长度。感兴趣区域ROI在X轴方向上的长度是例如感兴趣区域ROI在X轴方向上的物理区域长度XLa。感兴趣区域ROI在Y轴方向上的长度是例如感兴趣区域ROI在Y轴方向上的物理区域长度YLa。物理区域长度是指感兴趣区域ROI的物理长度(数据长度)。位置信息113可以包括除感兴趣区域ROI的左上角以外的位置的坐标。例如，ROI解释器122将导出的位置信息113存储在存储部中。ROI解释器122与例如分配给感兴趣区域ROI的标识符(区域号)相关联地执行在存储部中的存储。
ROI解释器122可以为每个感兴趣区域ROI进一步导出感兴趣区域ROI在X轴方向上的输出区域长度XLc和感兴趣区域ROI在Y轴方向上的输出区域长度YLc，作为位置信息113。输出区域长度是指例如通过细化处理、像素添加等对感兴趣区域ROI进行分辨率改变之后的物理长度(数据长度)。除了位置信息113之外，ROI解释器122还可以为每个感兴趣区域ROI导出例如感测信息、曝光信息、增益信息、AD(模数)字长、图像格式等，并且可以将其存储在存储部中。
感测信息是指对感兴趣区域ROI中包括的对象的算术运算的内容和对ROI图像112的后续阶段信号处理的补充信息。曝光信息是指感兴趣区域ROI的曝光时间。增益信息是指感兴趣区域ROI的增益信息。AD字长是指在感兴趣区域ROI中已经进行AD转换的每个像素的数据字长。图像格式是指感兴趣区域ROI的图像格式。例如，ROI解释器122可以导出包括在捕捉图像111中的感兴趣区域ROI的数量(ROI的数量)，并将感兴趣区域ROI的数量存储在存储部中。
在捕捉图像111中指定了多个要拍摄的对象的情况下，重叠检测器123基于捕捉图像111中的多个感兴趣区域ROI的位置信息113来检测重叠区域(ROO(重叠区域))，在该重叠区域中，两个或多个感兴趣区域ROI彼此重叠。即，重叠检测器123为重叠ROO的每个区域导出捕捉图像111中的重叠区域ROO的位置信息114。例如，重叠检测器123将导出的位置信息114存储在存储部中。例如，重叠检测器123将导出的位置信息114与重叠区域ROO相关联地存储在存储部中。重叠区域ROO是例如正方形区域，其大小等于或小于彼此重叠的两个或多个感兴趣区域ROI中的最小感兴趣区域ROI。位置信息114包括例如重叠区域ROO的左上坐标(Xb，Yb)、重叠区域ROO在X轴方向上的长度以及重叠区域ROO在Y轴方向上的长度。重叠区域ROO在X轴方向上的长度是指例如物理区域长度XLb。重叠区域ROO在Y轴方向上的长度是指例如物理区域长度YLb。位置信息114可以包括除了可以包括感兴趣区域ROI的左上角之外的位置坐标。
优先级设置部124将优先级115分配给捕捉图像111中的每个感兴趣区域ROI。例如，优先级设置部124将分配的优先级115存储在存储部中。例如，优先级设置部124与感兴趣区域ROI相关联地将分配的优先级115存储在存储部中。优先级设置部124可以将优先级115与分配给相应感兴趣区域ROI的区域号分开地分配给相应感兴趣区域ROI，或者可以分配分配给相应感兴趣区域ROI的区域号，而不是优先级115。例如，优先级设置部124可以与感兴趣区域ROI相关联地在存储部中存储优先级115，或者可以将分配给相应感兴趣区域ROI的区域号与感兴趣区域ROI相关联的存储在存储部中。
优先级115是每个感兴趣区域ROI的标识符，并且是能够从捕捉图像111中的多个感兴趣区域ROI中的哪一个已经省略了重叠区域ROO的标识信息。例如，优先级设置部124将1作为优先级115分配给两个感兴趣区域ROI中的一个，并且将2作为优先级115分配给两个感兴趣区域ROI中的另一个，每个ROI包括重叠区域ROO。在这种情况下，在创建稍后将描述的发送图像116时，从具有优先级115的较大值的感兴趣区域ROI中省略重叠区域ROO。应当注意，优先级设置部124可以将与分配给每个感兴趣区域ROI的区域号相同的编号分配给该感兴趣区域ROI，作为优先级115。例如，优先级设置部124在存储部中存储与ROI图像112相关联地分配给相应感兴趣区域ROI的优先级115。
编码器125对相应的发送图像116进行编码，以生成压缩图像数据120A。编码器125以例如符合JPEG规范的压缩格式(作为压缩图像数据120A的格式)压缩相应发送图像116。编码器125在执行上述压缩处理之前生成相应的发送图像116。编码器125生成通过从捕捉图像111获得的多个ROI图像112中省略重叠区域ROO的图像118而获得的多个发送图像116，以避免图像118冗余地包括在从捕捉图像111获得的多个ROI图像112中。
编码器125基于例如分配给相应感兴趣区域ROI的优先级115，确定从多个ROI图像112中的哪一个中省略图像118。应当注意，编码器125可以通过使用例如分配给相应感兴趣区域ROI的区域号作为优先级115来确定从多个ROI图像112中的哪一个中省略图像118。编码器125将通过从如上所述指定的ROI图像112中省略图像118而获得的图像视为发送图像116(例如，图3中的发送图像116a2)。作为上述确定的结果，编码器125将ROI图像112本身视为ROI图像112的发送图像116(例如，图3中的发送图像116a1)，该ROI图像112不包括重叠区域ROO，并且，ROI图像112中没有省略图像118。
图像处理控制器126生成ROI信息120B和帧信息120C，并将ROI信息120B和帧信息120C发送到发送部140。ROI信息120B包括例如每个位置信息113。ROI信息120B还包括例如每个感兴趣区域ROI的数据类型、捕捉图像111中包括的感兴趣区域ROI的数量、每个感兴趣区域ROI的区域号(或优先级115)、每个感兴趣区域ROI的数据长度或每个感兴趣区域ROI的图像格式中的至少一个。帧信息120C包括例如分配给每个帧的虚拟信道号、每个感兴趣区域ROI的数据类型、每行的有效载荷长度等。数据类型包括例如YUM数据、RGB数据、RAW数据等。数据类型还包括例如ROI格式数据、正常格式数据等。有效载荷长度是例如长分组的有效载荷中包括的像素数，并且是例如每个感兴趣区域ROI的像素数。在此处，有效载荷是指要在信息发送装置100和信息接收装置200之间发送的主数据(应用数据)。长分组是指在分组报头PH和分组报尾PF之间提供的分组。
发送部140是基于从图像处理器120和130输入的各种数据(120A、120B、120C和130A)生成和发送发送数据147A的电路。发送部140以嵌入数据发送捕捉图像111中的相应感兴趣区域ROI的ROI信息120B。在通过相机控制接口CCI从视频接收装置200输入了提供用于切除ROI的指令的控制信号的情况下，发送部140还以长分组的有效载荷数据发送相应感兴趣区域ROI的图像数据(压缩图像数据120A)。此时，发送部140通过相互共用的虚拟信道发送相应感兴趣区域ROI的图像数据(压缩图像数据120A)。此外，发送部140发送图像数据帧中的相应感兴趣区域ROI的图像数据(压缩图像数据120A)，并且发送关于图像数据帧的报头中的相应感兴趣区域ROI的ROI信息120B。在提供用于输出正常图像的指令的控制信号通过相机控制接口CCI从视频接收装置200输入的情况下，发送部140还以长分组的有效载荷数据发送正常图像数据(压缩图像数据130A)。
发送部140包括例如LINK控制器141、ECC生成器142、PH生成器143、EBD缓冲器144、ROI数据缓冲器145、正常图像数据缓冲器146和合成器147。在通过相机控制接口CCI从视频接收装置200输入了提供用于切除ROI的指令的控制信号的情况下，LINK控制器141、ECC生成器142、PH生成器143、EBD缓冲器144和ROI数据缓冲器145执行向合成器147的输出。在通过相机控制接口CCI从视频接收装置200输入了提供用于输出正常图像的指令的控制信号的情况下，正常图像数据缓冲器146执行向合成器147的输出。
应当注意，ROI数据缓冲器145也可以用作正常图像数据缓冲器146。在这种情况下，发送部140可以在每个ROI数据缓冲器145和ROI数据缓冲器145的输出端和合成器147的输入端之间包括选择器，该选择器选择ROI数据缓冲器145和ROI数据缓冲器145的输出中的一个。
例如，LINK控制器141将帧信息120C逐行输出到ECC生成器142和PH生成器143。基于例如帧信息120C中的一行的数据(例如，虚拟信道号、每个感兴趣区域ROI的数据类型、每行的有效载荷长度等)，ECC生成器142生成该行的纠错码。例如，ECC生成器142将生成的纠错码输出到PH生成器143。PH生成器143利用例如帧信息120C和ECC生成器142生成的纠错码为每行生成分组报头PH。此时，分组报头PH例如是长分组的有效载荷数据的分组报头，如图4所示。分组报头PH包括例如DI、WC和ECC。WC通过字数指示用于向信息接收装置200指示分组终止的区域。WC包括例如有效载荷长度，并且包括例如每个感兴趣区域ROI的像素数。ECC指示存储用于纠正比特错误的值的区域。ECC包括纠错码。DI表示存储数据标识符的区域。DI包括VC(虚拟信道)号和数据类型(每个感兴趣区域ROI的数据类型)。VC(虚拟信道)是为分组流控制引入的概念，分组流控制是支持共享同一链路的多个独立数据流的机制。PH生成器143将生成的分组报头PH输出到合成器147。
EBD缓冲器144临时存储ROI信息120B，并且在预定时间将ROI信息120B作为嵌入数据输出到合成器147。嵌入数据是指可能嵌入图像数据帧的报头或报尾中的其他信息(参见下面的图5)。嵌入数据包括例如ROI信息120B。
ROI数据缓冲器145暂时保存压缩图像数据120A，并在预定时间将压缩图像数据120A作为长分组的有效载荷数据输出到合成器147。在通过相机控制接口CCI从视频接收装置200输入了提供用于切除ROI的指令的控制信号的情况下，ROI数据缓冲器145将压缩图像数据120A作为长分组的有效载荷数据输出到合成器147。正常图像数据缓冲器146暂时保存压缩图像数据130A，并在预定时间将压缩图像数据130A作为长分组的有效载荷数据输出到合成器147。在通过相机控制接口CCI从视频接收装置200输入了提供用于输出正常图像的指令的控制信号的情况下，正常图像数据缓冲器146将压缩图像数据130A作为长分组的有效载荷数据输出到合成器147。
在通过相机控制接口CCI从视频接收装置200输入了提供用于输出正常图像的指令的控制信号的情况下，合成器147基于输入的数据(压缩图像数据130A)生成发送数据147A。合成器147通过数据通道D1向视频接收装置200输出生成的发送数据147A。相反，在通过相机控制接口CCI从视频接收装置200输入了提供用于切除ROI的指令的控制信号的情况下，合成器147基于各种输入数据(分组报头PH、ROI信息120B和压缩图像数据120A)生成发送数据147A。合成器147通过数据通道D1向视频接收装置200输出生成的发送数据147A。即，合成器147将数据类型(每个感兴趣区域ROI的数据类型)放入长分组的有效载荷数据的分组报头PH中，并发送数据类型。此外，合成器147通过相互共用的虚拟信道发送相应感兴趣区域ROI的图像数据(压缩图像数据120A)。
发送数据147A包括例如图5所示的图像数据帧。图像数据帧通常包括报头区域、分组区域和报尾区域。在图5中，为了方便起见，没有示出报尾区域。发送数据147A的帧头区域R1包括嵌入数据。此时，嵌入数据包括ROI信息120B。在图5中，发送数据147A的分组区域R2包括每行的长分组的有效载荷数据，并且还包括位于将长分组的有效载荷数据夹在其间的位置处的分组报头PH和分组报尾PH。此外，低功率模式LP被包括在分组报头PH和分组报尾PH夹在其间的位置。
分组报头PH包括例如DI、WC和ECC。WC包括例如有效载荷长度，并且包括例如每个感兴趣区域ROI的像素数。ECC包括纠错码。DI包括VC(虚拟信道号)和数据类型(每个感兴趣区域ROI的数据类型)。在本实施方式中，相互共用的虚拟信道号分配给相应行的VC。此外，在图5中，发送数据147A的分组区域R2包括压缩图像数据147B。压缩图像数据147B包括一条压缩图像数据120A或多条压缩图像数据120A。在此处，在图5中，更靠近分组报头PH的分组组包括例如图3中发送图像116a1的压缩图像数据120A(120A1)，远离分组报头PH的分组组包括例如图3中发送图像116a2的压缩图像数据120A(120A2)。这两条压缩图像数据120A1和120A2配置压缩图像数据147B。每行的长分组的有效载荷数据包括压缩图像数据147B中一行的像素数据。
图6示出了发送数据147A的配置实例。发送数据147A包括例如帧头区域R1和分组区域R2。应当注意，图6详细示出了帧头区域R1的内容的实例。此外，在图6中，未示出低功率模式LP。
帧头区域R1包括例如作为发送数据147A的标识符的帧号F1。帧头区域R1包括关于分组区域R2中包括的压缩图像数据147B的信息。帧头区域R1包括例如压缩图像数据147B中包括的压缩图像数据120A的数量(ROI的数量)以及与压缩图像数据147B中包括的每个压缩图像数据120A相对应的关于ROI图像112的信息(ROI信息120B)。
例如，合成器147为发送数据147A的分组区域R2中的压缩图像数据120A的每个像素行分别提供压缩图像数据147B。因此，发送数据147A的分组区域R2不包括冗余地对应于重叠区域ROO的图像118的压缩图像数据。此外，合成器147省略了例如在发送数据147A的分组区域R2中与捕捉图像111的发送图像116不对应的像素行。因此，发送数据147A的分组区域R2不包括与捕捉图像111的每个发送图像116不对应的像素行。应当注意，在图6中的分组区域R2中，由虚线包围的部分对应于重叠区域ROO的图像118的压缩图像数据。
更靠近分组报头PH(例如，图6中的1(n))的分组组和远离分组报头PH(例如，图6中的2(1))的分组组之间的边界由对应于更靠近分组报头PH(例如，图6中的1(n))的分组组的压缩图像数据的ROI图像112的物理区域长度XLa1来指定。在对应于更靠近分组报头PH(例如，图6中的1(n))的分组组中包括的重叠区域ROO的图像118的压缩图像数据中，分组的开始位置由对应于远离分组报头PH(例如，图6中的2(1))的分组组的ROI图像112的物理区域长度XLa2来指定。
例如，在发送数据147A的分组区域R2中逐行生成长分组的有效载荷数据的情况下，除了压缩图像数据147B中的一行的像素数据之外，合成器147可以将例如ROI信息120B放入如图7所示的长分组的有效载荷数据中。即，合成器147可以将ROI信息120B放入长分组的有效载荷数据中，并且发送ROI信息120B。此时，ROI信息120B包括例如捕捉图像111中包括的感兴趣区域ROI的数量(ROI的数量)、每个感兴趣区域ROI的区域数量(或优先级115)、每个感兴趣区域ROI的数据长度或每个感兴趣区域ROI的图像格式中的至少一个，如图7(A)至7(K)所示。ROI信息120B优选地设置在长分组的有效载荷数据中的分组报头PH一侧的末端(即，长分组的有效载荷数据的头部)。
(视频接收装置200)
接下来，给出视频接收装置200的描述。图8示出了视频接收装置200的配置的实例。图9示出了用于在视频接收装置200中生成ROI图像223A的过程的实例。视频接收装置200是根据与视频发送装置100共同的规范(例如，MIPI CSI-2规范、MIPI CSI-3规范或MIPIDSI规范)接收信号的装置。视频接收装置200包括例如接收部210和信息处理器220。接收部210是通过数据通道D1接收从视频发送装置100输出的发送数据147A的电路，并且对接收的发送数据147A执行预定处理，从而生成各种数据(214A、215A和215B)，并且将数据输出到信息处理器220。信息处理器220是基于从接收部210接收的各种数据(214A和215A)生成ROI图像223A并且基于从接收部210接收的数据(215B)生成正常图像224A的电路。
接收部210包括例如报头分离器211、报头解释器212、有效载荷分离器213、EBD解释器214和ROI数据分离器215。
报头分离器211通过数据通道D1从视频发送装置100接收发送数据147A。即，报头分离器211接收发送数据147A，其中，关于捕捉图像111中的相应感兴趣区域ROI的ROI信息120B包括在嵌入数据中，并且相应感兴趣区域ROI的图像数据(压缩图像数据120A)包括在长分组的有效载荷数据中。报头分离器211将接收的发送数据147A分成帧头区域R1和分组区域R2。报头解释器212基于包括在帧头区域R1中的数据(具体地，嵌入数据)，指定包括在分组区域R2中的长分组的有效载荷数据的位置。有效载荷分离器213基于报头解释器212指定的长分组的有效载荷数据的位置，将包括在分组区域R2中的长分组的有效载荷数据与分组区域R2分离。
EBD解释器214将嵌入数据作为EBD数据214A输出到信息处理器220。EBD解释器214还根据嵌入数据中包括的数据类型来确定长分组的有效载荷数据中包括的图像数据是ROI的图像数据116的压缩图像数据120A还是正常图像数据的压缩图像数据130A。EBD解释器214将这种确定的结果输出到ROI数据分离器215。
在长分组的有效载荷数据中包括的图像数据是ROI的图像数据116的压缩图像数据120A的情况下，ROI数据分离器215将长分组的有效载荷数据作为有效载荷数据215A输出到信息处理器220(具体地，ROI解码器222)。在有效载荷数据中包括的图像数据是正常图像数据的压缩图像数据130A的情况下，ROI数据分离器215将长分组的有效载荷数据作为有效载荷数据215B输出到信息处理器220(具体地，正常图像解码器224)。在RIO信息120B包括在长分组的有效载荷数据中的情况下，有效载荷数据215A包括RIO信息120B和压缩图像数据147B中一行的像素数据。
信息处理器220从包含在EBD数据214A中的嵌入数据中提取ROI信息120B。信息处理器220基于由信息提取器221提取的ROI信息120B，从包括在由接收部210接收的发送数据147A中的长分组的有效载荷数据中提取捕捉图像111中的每个感兴趣区域ROI的图像(ROI图像112)。信息处理器220包括例如信息提取器221、ROI解码器222、ROI图像生成器223和正常图像解码器224。
正常图像解码器224解码有效载荷数据215B，以生成正常图像224A。ROI解码器222解码有效载荷数据215A中包括的压缩图像数据147B，以生成图像数据222A。图像数据222A包括一个或多个发送图像116。
信息提取器221从包含在EBD数据214A中的嵌入数据中提取ROI信息120B。信息提取器221从EBD数据214A中包括的嵌入数据中提取例如捕捉图像111中包括的感兴趣区域ROI的数量、每个感兴趣区域ROI的区域号(或优先级115)、每个感兴趣区域ROI的数据长度以及每个感兴趣区域ROI的图像格式。即，发送数据147A包括对应于每个发送图像116的感兴趣区域ROI的区域号(或优先级115)，作为区分信息，其使得能够从发送数据147A获得的多个发送图像116中的哪一个中确定已经省略重叠区域ROO的图像118。
ROI图像生成器223基于由信息提取器221获得的ROI信息120B，检测两个或更多ROI相互重叠的重叠区域ROO。
信息提取器221从包含在EBD数据214A中的嵌入数据中提取例如对应于ROI图像112a1的感兴趣区域ROI的坐标(例如，左上坐标(Xa1，Ya1))、长度(例如，物理区域长度XLa1和YLa1)和区域号1(或优先级115(＝1))。信息提取器221还从包含在EBD数据214A中的嵌入数据中提取例如对应于ROI图像112a2的感兴趣区域ROI的坐标(例如，左上坐标(Xa2，Ya2))、长度(例如，物理区域长度XLa2和YLa2)和区域号2(或优先级115(＝2))。
此时，ROI图像生成器223基于如此提取的信息(以下称为“提取信息221A”)导出重叠区域ROO的位置信息114。ROI图像生成器223例如导出重叠区域ROO的坐标(例如，左上坐标(Xb1，Yb1))和长度(例如，物理区域长度XLb1和YLb1))，作为重叠区域ROO的位置信息114。
代替从包含在EBD数据214A中的嵌入数据获得RIO信息120B，ROI图像生成器223可以从有效载荷数据215A获得RIO信息120B。在这种情况下，ROI图像生成器223可以基于有效载荷数据215A中包括的RIO信息120B，检测两个或更多感兴趣区域ROI相互重叠的重叠区域ROO。此外，ROI图像生成器223可以从有效载荷数据215A中包括的RIO信息120B提取所述提取信息221A，并且可以基于如此提取的提取信息221A导出重叠区域ROO的位置信息114。
ROI图像生成器223还基于图像数据222A、提取信息221A和重叠区域ROO的位置信息114，生成捕捉图像111中的相应感兴趣区域ROI的图像(ROI图像112a1和112a2)。ROI图像生成器223输出生成的图像，作为ROI图像223A。
[过程]
接下来，参考图3和图9给出视频传输系统1中的数据发送过程的实例的描述。
首先，成像部110将通过成像获得的捕捉图像111(数字图像数据)输出到图像处理器120。ROI切割部121指定从成像部110输入的捕捉图像111中包括的两个感兴趣区域ROI1和ROI2。ROI切割部121从捕捉图像111中切割感兴趣区域ROI1和ROI2的图像(ROI图像112a1和112a2)。ROI切割部121将区域号1指定为感兴趣区域ROI1的标识符，并将区域号2指定为感兴趣区域ROI2的标识符。
ROI解释器122为每个感兴趣区域ROI导出捕捉图像111中的感兴趣区域ROI的位置信息113。ROI解释器122基于感兴趣区域ROI1导出感兴趣区域ROI1的左上坐标(Xa1，Ya1)、感兴趣区域ROI1在X轴方向上的长度(XA1)以及感兴趣区域ROI1在Y轴方向上的长度(YL1)。ROI解释器122基于感兴趣区域ROI2导出感兴趣区域ROI2的左上坐标(Xa2，Ya2)、感兴趣区域ROI2在X轴方向上的长度(Xa2)以及感兴趣区域ROI2在Y轴方向上的长度(Yl2)。
重叠检测器123基于捕捉图像111中的两个感兴趣区域ROI1和ROI2的位置信息113，检测两个感兴趣区域ROI1和ROI2彼此重叠的重叠区域ROO。即，重叠检测器123导出捕捉图像111中重叠区域ROO的位置信息114。重叠检测器123导出重叠区域ROO的左上坐标(Xb1，Yb1)、重叠区域ROO在X轴方向上的长度(XLb1)和重叠区域ROO在Y轴方向上的长度(YLb1)，作为捕捉图像111中重叠区域ROO的位置信息114。
优先级设置部124将1作为优先级115分配给感兴趣区域ROI1和ROI2中的一个区域，即感兴趣区域ROI1，并将2作为优先级115分配给另一区域，即感兴趣区域ROI2。
编码器125生成两个发送图像116a1和116a2，通过从捕捉图像111获得的两个ROI图像112a1和112a2中省略重叠区域ROO的图像118而获得这两个发送图像，以避免图像118冗余地包括在两个感兴趣区域ROI1和ROI2中。
编码器125基于两个感兴趣区域ROI1和ROI2的区域号(或优先级115)来确定从两个ROI图像112a1和112a2中的哪一个中省略图像118。编码器125从对应于两个感兴趣区域ROI1和ROI2中具有较大区域号(或优先级115)的感兴趣区域ROI2的ROI图像12a2中省略图像118，从而生成发送图像116a2。编码器125将ROI图像112a本身视为两个感兴趣区域ROI1和ROI2中具有较小区域号(或优先级115)的ROI图像112a1的发送图像116a。
图像处理控制器126生成ROI信息120B和帧信息120C，并将ROI信息120B和帧信息120C发送到发送部140。发送部140基于从图像处理器120和130输入的各种数据(120A、120B、120C和130A)生成发送数据147A。发送部140通过数据通道D1将生成的发送数据147A发送到视频接收装置200。
接收部210通过数据通道D1接收从视频发送装置100输出的发送数据147A。接收部210对接收的发送数据147A执行预定处理，以生成EBD数据214A和有效载荷数据215A，并将EBD数据214A和有效载荷数据215A输出到信息处理器220。
信息提取器221从包含在EBD数据214A中的嵌入数据中提取ROI信息120B。信息提取器221从包含在EBD数据214A中的嵌入数据中提取对应于ROI图像112a1的感兴趣区域ROI的坐标(例如，左上坐标(Xa1，Ya1))、长度(例如，物理区域长度XLa1和YLa1)和区域号1(或优先级115(＝1))。信息提取器221还提取对应于ROI图像112a2的感兴趣区域ROI的坐标(例如，左上坐标(Xa2，Ya2))、长度(例如，物理区域长度XLa2和YLa2)和区域号2(或优先级115(＝2))。ROI解码器222解码有效载荷数据215A中包括的压缩图像数据147B，以生成图像数据222A。
ROI图像生成器223基于如此提取的信息(提取信息221A)导出重叠区域ROO的位置信息114。ROI图像生成器223例如导出重叠区域ROO的坐标(例如，左上坐标(Xb1，Yb1))和长度(例如，物理区域长度XLb1和YLb1))，作为上述重叠区域ROO的位置信息114。ROI图像生成器223还基于图像数据222A、提取信息221A和重叠区域ROO的位置信息114，生成捕捉图像111中的相应感兴趣区域ROI的图像(ROI图像112a1和112a2)。
[效果]
接下来，描述根据本实施方式的视频传输系统1的效果。
近年来，用于发送具有大数据量的大量数据的应用一直在增加。传输系统很可能负载很重，在最坏的情况下，传输系统可能会停机，数据发送无法执行。
为了防止传输系统停机，例如，代替发送整个拍摄图像，仅发送了通过指定要拍摄的对象并切除所识别的对象而获得的部分图像。
顺便提一下，作为用于从图像传感器发送到应用处理器的系统，在某些情况下，使用MIPI CSI-2。在使用系统发送ROI的情况下，由于各种限制，ROI的发送可能不容易。
相反，在本实施方式中，在嵌入数据中发送关于捕捉图像111中的相应感兴趣区域ROI的ROI信息120B，并且在长分组的有效载荷数据中发送每个感兴趣区域ROI的图像数据。这使得可以容易地从已经接收到从视频发送装置100发送的发送数据147A的装置(视频接收装置200)中的发送数据147A提取每个感兴趣区域ROI的图像数据(ROI图像211)。结果，即使在各种限制下，也可以发送感兴趣区域ROI。
此外，在本实施方式中，通过相互共用的虚拟信道发送相应感兴趣区域ROI的图像数据(压缩图像数据120A)。这使得可以在同一分组中发送多个ROI图像211，这使得可以在发送多个ROI图像211时实现高发送效率，而不需要包括LP模式。
此外，在本实施方式中，每个感兴趣区域ROI的数据类型放入长分组的有效载荷数据的分组报头PH中并发送。因此，仅通过访问长分组的有效载荷数据的分组报头PH，而不访问嵌入数据，来获得每个感兴趣区域ROI的数据类型。这使得可以提高信息接收装置200中的处理速度，这使得可以实现高发送效率。
此外，在本实施方式中，在ROI信息120B放入长分组的有效载荷数据中并发送的情况下，仅通过访问长分组的有效载荷数据，而不访问嵌入数据，来获得ROI信息120B。这使得可以提高信息接收装置200中的处理速度，这使得可以实现高发送效率。
此外，在本实施方式中，从包括在发送数据147A中的嵌入数据中提取关于相应感兴趣区域ROI的ROI信息120B，并且基于提取的ROI信息120B，从包括在发送数据147A中的长分组的有效载荷数据中提取每个感兴趣区域ROI的图像(ROI图像112)。这使得可以容易地从发送数据147A中提取每个感兴趣区域ROI的图像(ROI图像112)。结果，即使在各种限制下，也可以发送感兴趣区域ROI。
<2.变型例>
[变型例A]
图10示出了根据前述实施方式的安装在通信系统1中的信息发送装置100的配置的变型例。在根据本变型例的信息发送装置100中，省略了ROI数据分离器215，并且有效载荷分离器213输出有效载荷数据215A或有效载荷数据215B。
在本变型例中，有效载荷分离器213根据长分组的有效载荷数据的分组报头PH中包括的数据类型(每个感兴趣区域ROI的数据类型)，确定长分组的有效载荷数据中包括的图像数据是ROI的图像数据116的压缩图像数据120A还是正常图像数据的压缩图像数据130A。结果，在长分组的有效载荷数据中包括的图像数据是ROI的图像数据116的压缩图像数据120A的情况下，有效载荷分离器213将长分组的有效载荷数据作为有效载荷数据215A输出到信息处理器220(具体地，ROI解码器222)。在长分组的有效载荷数据中包括的图像数据是正常图像数据的压缩图像数据130A的情况下，有效载荷分离器213将长分组的有效载荷数据作为有效载荷数据215B输出到信息处理器220(具体地，正常图像解码器224)。
在本变型例中，仅通过访问长分组的有效载荷数据的分组报头PH，而不访问嵌入数据，可以确定每个感兴趣区域ROI的数据类型。这使得可以提高信息接收装置200中的处理速度，这使得可以实现高发送效率。
[变型例B]
在根据前述实施方式的通信系统1中，长分组的有效载荷数据的分组报头PH可以不包括数据类型(每个感兴趣区域ROI的数据类型)。即使在这种情况下，也可以从嵌入数据中包括的数据类型中确定长分组的有效载荷数据中包括的图像数据是感兴趣区域ROI的图像数据116的压缩图像数据120A还是正常图像数据的压缩图像数据130A。这促使分组报头PH的数据尺寸减小，这使得可以降低发送容量。
[变型例C]
在根据前述实施方式的通信系统1中，合成器147通过相互共用的虚拟信道发送相应感兴趣区域ROI的图像数据(压缩图像数据120A)。然而，合成器147可以通过彼此不同的虚拟信道发送相应感兴趣区域ROI的图像数据(压缩图像数据120A)。然而，在这种情况下，例如，如图11所示，低功率模式LP包括在对应于不同感兴趣区域ROI的两个长分组的有效载荷数据之间。
顺便提及，在对应于不同感兴趣区域ROI的两个长分组的有效载荷数据之间包括低功率模式LP，意味着分离对应于不同感兴趣区域ROI的两个长分组的有效载荷数据的处理是不必要的。这使得可以在本变型例中消除这种分离处理所需的处理时间。
[变型例D]
在根据前述实施方式的通信系统1中，在一些情况下，除了压缩图像数据147中一行的像素数据之外，合成器147还将ROI信息120B放入长分组的有效载荷数据中。然而，在根据前述实施方式的通信系统1中，例如，合成器147可以将ROI信息120B放入设置在长分组的有效载荷数据之前的一个或多个短分组(短分组)的数据字段(数据字段)SP中，并且发送ROI信息120B。例如，合成器147可以将感兴趣区域ROI的数量(ROI的数量)、每个感兴趣区域ROI的区域号(或优先级115)、每个感兴趣区域ROIROI的数据长度或每个感兴趣区域ROI的图像格式中的至少一个放入设置在长分组的有效载荷数据前面的一个或多个短分组的数据字段SP中，并且发送其中的至少一个。例如，如图12所示，合成器147可以将包括在捕捉图像111中的感兴趣区域ROI的数量(ROI的数量)、每个感兴趣区域ROI的区域号(或优先级115)、每个感兴趣区域ROIROI的数据长度以及每个感兴趣区域ROI的图像格式放入设置在长分组的有效载荷数据前面的一个或多个短分组的数据字段SP中并发送。
在本变型例中，可以仅通过访问设置在长分组的有效载荷数据之前的一个或多个短分组的数据字段SP而不访问嵌入数据，来获得ROI信息120B。这使得可以提高信息接收装置200中的处理速度，这使得可以实现高发送效率。
[变型例E]
在根据前述实施方式及其变型例(变型例A至D)的通信系统1中，使用对应于通过从多个ROI图像112中省略图像118而获得的多个发送图像116的压缩图像数据147B来生成发送数据120A。然而，在根据前述实施方式及其变型例(变型例A至D)的通信系统1中，可以使用对应于相应ROI图像112的压缩图像数据120A作为发送数据120A来生成发送数据120A，而不管重叠区域ROO的图像118是否存在于多个感兴趣区域ROI的图像(ROI图像112)中。即，在根据前述实施方式及其变型例(变型例A至D)的通信系统1中，压缩图像数据147B包括对应于相应ROI图像112的压缩图像数据120A。
在这种情况下，例如，如图13所示，可以从图像处理器120中省略ROI解释器122、重叠检测器123和优先级设置部124。即使如上所述从图像处理器120中省略ROI解释器122、重叠检测器123和优先级设置部124的情况下，发送部140也发送关于嵌入数据中的捕捉图像111中的相应感兴趣区域ROI的ROI信息120B，类似于根据前述实施方式和其变型例(变型例A至D)的通信系统1。发送部140还发送长分组的有效载荷数据中的相应感兴趣区域ROI的图像数据(压缩图像数据120A)。此外，发送部140发送图像数据帧中的相应感兴趣区域ROI的图像数据(压缩图像数据120A)，并且以图像数据帧的帧头发送关于相应感兴趣区域ROI的ROI信息120B。这使得可以容易地从已经接收到从视频发送装置100发送的发送数据147A的装置(视频接收装置200)中的发送数据147A提取每个感兴趣区域ROI的图像数据(ROI图像211)。结果，即使在各种限制下，也可以发送感兴趣区域ROI。
此外，在本变型例中，在通过相互共用的虚拟信道发送相应感兴趣区域ROI的图像数据(压缩图像数据120A)的情况下，发送部140可以在同一分组中发送多个ROI图像211。这消除了在发送多个ROI图像211时包括LP模式的需要，这使得可以实现高发送效率。
此外，在本变型例中，在发送部140通过彼此不同的虚拟信道发送相应感兴趣区域ROI的图像数据(压缩图像数据120A)的情况下，分离对应于不同感兴趣区域ROI的两个长分组的有效载荷数据的处理变得不必要。这使得可以在本变型例中消除这种分离处理所需的处理时间。
此外，在本变型例中，在发送部140将每个感兴趣区域ROI的数据类型放入长分组的有效载荷数据的分组报头PH中并发送每个感兴趣区域ROI的数据类型的情况下，仅通过访问长分组的有效载荷数据的分组报头PH，而不访问嵌入数据，就可以获得每个感兴趣区域ROI的数据类型。这使得可以提高信息接收装置200中的处理速度，这使得可以实现高发送效率。
此外，在本变型例中，在发送部140将ROI信息120B放入长分组的有效载荷数据中并发送ROI信息120B的情况下，可以仅通过访问长分组的有效载荷数据，而不访问嵌入数据，来获得ROI信息120B。这使得可以提高信息接收装置200中的处理速度，这使得可以实现高发送效率。
此外，在本变型例中，在发送部140将ROI信息120B放入设置在长分组的有效载荷数据前面的一个或多个短分组的数据字段SP中并发送ROI信息120B的情况下，仅通过访问设置在长分组的有效载荷数据前面的一个或多个短分组的数据字段SP，而不访问嵌入数据，可以获得ROI信息120B。这使得可以提高信息接收装置200中的处理速度，这使得可以实现高发送效率。
此外，在本变型例中，在发送部140从包括在发送数据147A中的嵌入数据提取关于相应感兴趣区域ROI的ROI信息120B并且基于提取的ROI信息120B从包括在发送数据147A中的长分组的有效载荷数据提取每个感兴趣区域ROI的图像(ROI图像112)的情况下，可以容易地从发送数据147A中提取每个感兴趣区域ROI的图像(ROI图像112)。结果，即使在各种限制下，也可以发送感兴趣区域ROI。
[变型例F]
在根据前述实施方式及其变型例(变型例A至E)的通信系统1中，发送部140以图像数据帧的帧头(帧头区域R1)发送关于相应感兴趣区域ROI的ROI信息120B。然而，在根据前述实施方式及其变型例(变型例A至E)的通信系统1中，发送部140可以以图像数据帧的报尾(帧报尾区域R3)发送关于相应感兴趣区域ROI的ROI信息120B。例如，如图14所示，在嵌入数据中发送关于捕捉图像111中的相应感兴趣区域ROI的ROI信息120B的情况下，发送部140可以在帧尾区域R3中发送ROI信息120B。应当注意，在图14中，为了方便起见，没有示出报头区域R1。即使在采用本变型例的情况下，即使在各种限制下，也可以发送感兴趣区域ROI。
[变型例G]
在根据前述实施方式及其变型例(变型例A至F)的通信系统1中，图像数据帧包括帧头区域R1、分组区域R2和帧尾R3。然而，在根据前述实施方式及其变型例(变型例A至F)的通信系统1中，图像数据帧可以不包括帧尾R3。另外，在前述变型例F中，图像数据帧可以不包括帧头区域R1。
尽管已经参考实施方式及其变型例描述了本公开，但是本公开不限于前述实施方式等，并且可以以多种方式修改。应当注意，本说明书中描述的效果仅仅是说明性的。本公开的效果不限于本说明书中描述的效果。本公开可以具有与本说明书中描述的效果不同的效果。
此外，例如，本公开可以具有以下配置。
(1)一种视频发送装置，包括：
发送部，其以长分组的有效载荷数据发送图像中的ROI(感兴趣区域)的图像数据，并以嵌入数据发送关于ROI的信息。
(2)根据(1)所述的视频发送装置，其中，所述发送部通过彼此不同的虚拟信道发送相应ROI的图像数据。
(3)根据(1)所述的视频发送装置，其中，所述发送部通过相互共用的虚拟信道发送相应ROI的图像数据。
(4)根据(3)所述的视频发送装置，其中，所述发送部将相应ROI的数据类型放入有效载荷数据的分组报头中进行发送。
(5)根据(3)所述的视频发送装置，其中，所述发送部将包括在图像中的ROI的个数、每个ROI的区域号、每个ROI的数据长度或每个ROI的图像格式中的至少一个放入有效载荷数据中进行发送。
(6)根据(3)所述的视频发送装置，其中，所述发送部将包括在图像中的ROI的个数、每个ROI的区域号、每个ROI的数据长度或每个ROI的图像格式中的至少一个放入短分组中进行发送。
(7)根据(1)至(6)中任一项所述的视频发送装置，其中，所述发送部在图像数据帧中发送ROI的图像数据，并且在图像数据帧的帧头或帧尾中发送关于ROI的信息。
(8)根据(1)至(7)中任一项所述的视频发送装置，其中，所述发送部以MIPI(移动工业处理器接口)CSI(相机串行接口)-2规范、MIPI CSI-3规范或MIPI DSI(显示串行接口)规范发送信号。
(9)一种视频发送装置，包括：
检测器，其基于关于图像中相应ROI(感兴趣区域)的信息来检测两个或更多个ROI彼此重叠的重叠区域；以及
发送部，其以长分组的有效载荷数据发送多条第三图像数据，并且以嵌入数据发送关于图像中的相应ROI的信息，通过从图像中的ROI的多条第一图像数据中省略重叠区域的第二图像数据来获得多条第三图像数据，以避免第二图像数据冗余地包括在多条第一图像数据中。
(10)根据(9)所述的视频发送装置，其中，所述发送部通过彼此不同的虚拟信道发送相应ROI。
(11)根据(9)所述的视频发送装置，其中，所述发送部通过相互共用的虚拟信道发送相应的ROI。
(12)根据(11)所述的视频发送装置，其中，所述发送部将相应ROI的数据类型放入有效载荷数据的分组报头中进行发送。
(13)根据(11)所述的视频发送装置，其中，所述发送部将包括在图像中的ROI的个数、每个ROI的区域号、每个ROI的数据长度或每个ROI的图像格式中的至少一个放入有效载荷数据中进行发送。
(14)根据(9)所述的视频发送装置，其中，所述发送部将包括在图像中的ROI个数、每个ROI的区域号、每个ROI的数据长度或每个ROI的图像格式中的至少一个放入短分组的数据字段中进行发送。
(15)根据(9)至(14)中任一项所述的视频发送装置，其中，所述发送部通过图像数据帧发送ROI的图像数据，并且通过图像数据帧的帧头或帧尾中发送关于ROI的信息。
(16)根据(9)至(15)中任一项所述的视频发送装置，其中，所述发送部以MIPI(移动工业处理器接口)CSI(相机串行接口)-2规范、MIPI CSI-3规范或MIPI DSI(显示串行接口)规范发送信号。
(17)一种视频接收装置，包括：
接收部，其接收包括图像中ROI(感兴趣区域)的图像数据和关于ROI的信息的发送信号，所述ROI的图像数据包括在长分组的有效载荷数据中，关于ROI的信息包括在嵌入数据中；以及
信息处理器，其从包括在由接收部接收的发送信号中的嵌入数据中提取关于ROI的信息，并且基于提取的信息从包括在由接收部接收的发送信号中的有效载荷数据中提取ROI的图像数据。
(18)根据(17)所述的视频接收装置，其中，所述信息处理器基于所提取的信息检测两个或更多个ROI彼此重叠的重叠区域，，并且基于所提取的信息和所检测的重叠区域的信息，从包括在由接收部接收的发送信号中的有效载荷数据中提取相应ROI的图像数据。
(19)根据(17)或(18)所述的视频接收装置，其中，所述发送部以MIPI(移动工业处理器接口)CSI(相机串行接口)-2规范、MIPI CSI-3规范或MIPI DSI(显示串行接口)规范接收信号。
本申请要求2017年6月9日向日本专利局提交的日本优先权专利申请JP2017-114690的权益，其全部内容通过引用结合于此。
本领域技术人员应该理解，根据设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要在所附权利要求或其等同物的范围内。

Claims (19)

1.一种视频发送装置，包括：
发送部，其以长分组的有效载荷数据发送图像中的ROI(感兴趣区域)的图像数据，并以嵌入数据发送关于所述ROI的信息。
2.根据权利要求1所述的视频发送装置，其中，所述发送部通过彼此不同的虚拟信道发送各个所述ROI的所述图像数据。
3.根据权利要求1所述的视频发送装置，其中，所述发送部通过相互共用的虚拟信道发送各个所述ROI的所述图像数据。
4.根据权利要求3所述的视频发送装置，其中，所述发送部将各个所述ROI的数据类型放入所述有效载荷数据的分组报头中进行发送。
5.根据权利要求3所述的视频发送装置，其中，所述发送部将包括在所述图像中的所述ROI的个数、各个所述ROI的区域号、各个所述ROI的数据长度及各个所述ROI的图像格式中的至少一个放入所述有效载荷数据中进行发送。
6.根据权利要求3所述的视频发送装置，其中，所述发送部将包括在所述图像中的所述ROI的个数、各个所述ROI的区域号、各个所述ROI的数据长度及各个所述ROI的图像格式中的至少一个放入短分组中进行发送。
7.根据权利要求1所述的视频发送装置，其中，所述发送部通过图像数据帧发送所述ROI的所述图像数据，并且通过所述图像数据帧的帧头或帧尾发送关于所述ROI的信息。
8.根据权利要求1所述的视频发送装置，其中，所述发送部以MIPI(移动工业处理器接口)CSI(相机串行接口)-2规范、MIPI CSI-3规范或MIPIDSI(显示串行接口)规范发送信号。
9.一种视频发送装置，包括：
检测器，其基于关于图像中的各ROI(感兴趣区域)的信息来检测两个或更多个所述ROI彼此重叠的重叠区域；以及
发送部，其以长分组的有效载荷数据发送多条第三图像数据，并且以嵌入数据发送关于所述图像中的各个所述ROI的信息，通过从所述图像中的所述ROI的多条第一图像数据中省略所述重叠区域的第二图像数据来获得多条第三图像数据，以避免所述第二图像数据冗余地包括在多条所述第一图像数据中。
10.根据权利要求9所述的视频发送装置，其中，所述发送部通过彼此不同的虚拟信道发送各个所述ROI。
11.根据权利要求9所述的视频发送装置，其中，所述发送部通过相互共用的虚拟信道发送各个所述ROI。
12.根据权利要求11所述的视频发送装置，其中，所述发送部将各个所述ROI的数据类型放入所述有效载荷数据的分组报头中进行发送。
13.根据权利要求11所述的视频发送装置，其中，所述发送部将包括在所述图像中的所述ROI的个数、各个所述ROI的区域号、各个所述ROI的数据长度及各个所述ROI的图像格式中的至少一个放入所述有效载荷数据中进行发送。
14.根据权利要求11所述的视频发送装置，其中，所述发送部将包括在所述图像中的所述ROI的个数、各个所述ROI的区域号、各个所述ROI的数据长度及各个所述ROI的图像格式中的至少一个放入短分组的数据字段中进行发送。
15.根据权利要求9所述的视频发送装置，其中，所述发送部通过图像数据帧发送所述ROI的所述图像数据，并且通过图像数据帧的帧头或帧尾发送关于所述ROI的信息。
16.根据权利要求9所述的视频发送装置，其中，所述发送部以MIPI(移动工业处理器接口)CSI(相机串行接口)-2规范、MIPI CSI-3规范或MIPIDSI(显示串行接口)规范发送信号。
17.一种视频接收装置，包括：
接收部，其接收在长分组的有效载荷数据中包括的图像中的ROI(感兴趣区域)的图像数据和在嵌入数据中包括的关于所述ROI的信息的发送信号；以及
信息处理器，其从包括在由所述接收部接收的所述发送信号中的所述嵌入数据中提取关于所述ROI的信息，并且基于提取的所述信息从包括在由所述接收部接收的所述发送信号中的所述有效载荷数据中提取所述ROI的图像数据。
18.根据权利要求17所述的视频接收装置，其中，所述信息处理器基于所提取的所述信息检测两个或更多个所述ROI彼此重叠的重叠区域，并且基于所提取的所述信息和所检测的所述重叠区域的信息，从包括在由所述接收部接收的发送信号中的所述有效载荷数据中提取各个所述ROI的图像数据。
19.根据权利要求17所述的视频接收装置，其中，所述发送部以MIPI(移动工业处理器接口)CSI(相机串行接口)-2规范、MIPI CSI-3规范或MIPIDSI(显示串行接口)规范接收信号。
CN201880036627.9A 2017-06-09 2018-05-11 视频发送装置和视频接收装置 Pending CN110710222A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017114690 2017-06-09
JP2017-114690 2017-06-09
PCT/JP2018/018349 WO2018225449A1 (ja) 2017-06-09 2018-05-11 映像送信装置および映像受信装置

Publications (1)

Publication Number Publication Date
CN110710222A true CN110710222A (zh) 2020-01-17

Family

ID=64567136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880036627.9A Pending CN110710222A (zh) 2017-06-09 2018-05-11 视频发送装置和视频接收装置

Country Status (9)

Country Link
US (1) US20200186841A1 (zh)
EP (1) EP3637784A4 (zh)
JP (1) JP7163285B2 (zh)
KR (2) KR102636747B1 (zh)
CN (1) CN110710222A (zh)
BR (1) BR112019025471A2 (zh)
SG (1) SG11201910049VA (zh)
TW (1) TWI829638B (zh)
WO (1) WO2018225449A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114245030A (zh) * 2021-12-20 2022-03-25 北京镁伽科技有限公司 上位机显示测试图像的方法、装置及图像信号发生器

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7414733B2 (ja) 2018-12-06 2024-01-16 ソニーセミコンダクタソリューションズ株式会社 受信装置および送信装置
JP2020188323A (ja) * 2019-05-10 2020-11-19 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像方法
WO2020261814A1 (ja) * 2019-06-28 2020-12-30 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置及び伝送システム
US11871008B2 (en) 2019-06-28 2024-01-09 Sony Semiconductor Solutions Corporation Transmitting apparatus, receiving apparatus, and transmission system
TW202110184A (zh) * 2019-07-30 2021-03-01 日商索尼半導體解決方案公司 發送裝置、接收裝置、及通訊系統
US20220279110A1 (en) * 2019-08-30 2022-09-01 Sony Group Corporation Imaging device, processing device, data transmission system, and data transmission method
WO2021039012A1 (ja) * 2019-08-30 2021-03-04 ソニー株式会社 撮像装置、データ伝送システム、及びデータ伝送方法
JPWO2021100627A1 (zh) * 2019-11-20 2021-05-27
US20230129052A1 (en) * 2020-03-25 2023-04-27 Sony Semiconductor Solutions Corporation Reception device and transmission system
CN115299038A (zh) * 2020-03-31 2022-11-04 索尼半导体解决方案公司 发送装置、接收装置以及传输系统
WO2022050057A1 (ja) * 2020-09-01 2022-03-10 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動体装置、および通信システム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101313578A (zh) * 2005-09-26 2008-11-26 韩国电子通信研究院 用于在可伸缩视频编码中定义和重构感兴趣区域的方法和装置
US20090097704A1 (en) * 2007-10-10 2009-04-16 Micron Technology, Inc. On-chip camera system for multiple object tracking and identification
CN103260081A (zh) * 2012-02-21 2013-08-21 中国移动通信集团公司 一种视频图像缩放处理方法及装置
CN104170384A (zh) * 2012-06-25 2014-11-26 索尼公司 图像解码设备、图像解码方法、图像编码设备和图像编码方法
CN104871539A (zh) * 2012-12-18 2015-08-26 索尼公司 图像处理装置和图像处理方法
CN104885456A (zh) * 2012-09-18 2015-09-02 Vid拓展公司 使用图块和图块组的感兴趣区域视频编码
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream
CN106031180A (zh) * 2014-02-18 2016-10-12 Lg电子株式会社 收发用于全景服务的广播信号的方法和设备
KR20170056849A (ko) * 2015-11-16 2017-05-24 삼성전자주식회사 비디오 인코딩 방법, 이를 수행하는 비디오 인코더 및 이를 포함하는 전자 시스템

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9131279B2 (en) * 2009-08-06 2015-09-08 Qualcomm Incorporated Preparing video data in accordance with a wireless display protocol
US8970750B2 (en) * 2010-11-12 2015-03-03 Sony Corporation Image outputting apparatus, image outputting method, image processing apparatus, image processing method, program, data structure and imaging apparatus
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP2013121032A (ja) * 2011-12-07 2013-06-17 Sony Corp 画像処理装置および方法
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP5700703B2 (ja) 2012-08-20 2015-04-15 日本電信電話株式会社 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
CN106233745B (zh) * 2013-07-29 2021-01-15 皇家Kpn公司 向客户端提供瓦片视频流
TWI545508B (zh) * 2014-07-18 2016-08-11 宏達國際電子股份有限公司 用於執行臉部追蹤功能的方法及其電子裝置
US11205305B2 (en) * 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
JP2016103808A (ja) * 2014-11-28 2016-06-02 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6604019B2 (ja) 2015-04-14 2019-11-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
JP6646433B2 (ja) 2015-12-21 2020-02-14 太平洋セメント株式会社 複合構造体
JP6936018B2 (ja) * 2017-02-21 2021-09-15 ソニーセミコンダクタソリューションズ株式会社 映像送信装置および映像受信装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101313578A (zh) * 2005-09-26 2008-11-26 韩国电子通信研究院 用于在可伸缩视频编码中定义和重构感兴趣区域的方法和装置
US20090097704A1 (en) * 2007-10-10 2009-04-16 Micron Technology, Inc. On-chip camera system for multiple object tracking and identification
CN103260081A (zh) * 2012-02-21 2013-08-21 中国移动通信集团公司 一种视频图像缩放处理方法及装置
CN104170384A (zh) * 2012-06-25 2014-11-26 索尼公司 图像解码设备、图像解码方法、图像编码设备和图像编码方法
CN104885456A (zh) * 2012-09-18 2015-09-02 Vid拓展公司 使用图块和图块组的感兴趣区域视频编码
CN104871539A (zh) * 2012-12-18 2015-08-26 索尼公司 图像处理装置和图像处理方法
CN106031180A (zh) * 2014-02-18 2016-10-12 Lg电子株式会社 收发用于全景服务的广播信号的方法和设备
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream
KR20170056849A (ko) * 2015-11-16 2017-05-24 삼성전자주식회사 비디오 인코딩 방법, 이를 수행하는 비디오 인코더 및 이를 포함하는 전자 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NXP SEMICONDUCTORS: "MIPI–CSI2 Peripheral on i.MX6 MPUs", 《NXP SEMICONDUCTORS》 *
陈宜元: "《卫星无线电测控技术 下》", 30 September 2007 *
首照宇等: "基于SURF和动态ROI的实时视频拼接", 《计算机工程与设计》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114245030A (zh) * 2021-12-20 2022-03-25 北京镁伽科技有限公司 上位机显示测试图像的方法、装置及图像信号发生器

Also Published As

Publication number Publication date
JPWO2018225449A1 (ja) 2020-04-09
KR102636747B1 (ko) 2024-02-15
US20200186841A1 (en) 2020-06-11
KR20230036167A (ko) 2023-03-14
JP7163285B2 (ja) 2022-10-31
KR102509132B1 (ko) 2023-03-13
SG11201910049VA (en) 2019-11-28
TWI829638B (zh) 2024-01-21
EP3637784A4 (en) 2020-04-22
TW201904281A (zh) 2019-01-16
KR20200016229A (ko) 2020-02-14
EP3637784A1 (en) 2020-04-15
WO2018225449A1 (ja) 2018-12-13
BR112019025471A2 (pt) 2020-06-23

Similar Documents

Publication Publication Date Title
CN110710222A (zh) 视频发送装置和视频接收装置
KR102593633B1 (ko) 영상 송신 장치 및 영상 수신 장치
US11074023B2 (en) Transmission device
CN111295885B (zh) 发送器
WO2021020224A1 (ja) 送信装置、受信装置、及び通信システム
WO2020261816A1 (ja) 送信装置、受信装置及び伝送システム
US20220217310A1 (en) Transmitting apparatus, receiving apparatus, and transmission system
US11297279B2 (en) Transmission device, reception device, and communication system
US11695883B2 (en) Transmitting apparatus, receiving apparatus, and transmission system
US11900572B2 (en) Transmission device, reception device, and transmission system
US20220245828A1 (en) Transmitter, receiver, and communication system
US20230143642A1 (en) Transmission device, reception device, and communication system
CN113170029A (zh) 图像处理装置和图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200117