CN110301137A - 视频传输设备和视频接收设备 - Google Patents

视频传输设备和视频接收设备 Download PDF

Info

Publication number
CN110301137A
CN110301137A CN201880011920.XA CN201880011920A CN110301137A CN 110301137 A CN110301137 A CN 110301137A CN 201880011920 A CN201880011920 A CN 201880011920A CN 110301137 A CN110301137 A CN 110301137A
Authority
CN
China
Prior art keywords
image
region
images
transmission
location information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880011920.XA
Other languages
English (en)
Other versions
CN110301137B (zh
Inventor
杉冈达也
高桥知宏
宇井博贵
稻田喜昭
小林正嗣
鹰本胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN110301137A publication Critical patent/CN110301137A/zh
Application granted granted Critical
Publication of CN110301137B publication Critical patent/CN110301137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876—Recombination of partial images to recreate the original image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Telephone Function (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)

Abstract

本公开包括一种视频传输设备、一种视频接收设备、一种图像传输设备、一种图像接收设备和一种系统。所述图像传输设备包括检测电路、生成电路和传输电路。所述生成电路被配置为基于来自多条位置信息的第一条位置信息生成第一图像，所述第一图像包括重叠区域并且对应于两个或多个关注区域的第一关注区域。所述生成电路还被配置为基于重叠区域和多条位置信息生成一个或多个第二图像，所述一个或多个第二图像不包括重叠区域并且对应于两个或多个关注区域中除第一关注区域之外的关注区域。

Description

视频传输设备和视频接收设备
交叉引用相关申请
本申请要求2017年2月21日提交的日本优先权专利申请JP2017-029809的权益，该申请的全部内容通过引用结合于此。
技术领域
本公开涉及一种视频传输设备和一种视频接收设备。
背景技术
近年来，用于大规模传输具有大数据量的数据的应用正在扩展。大负载易于应用到传输系统，并且在最坏的情况下，传输系统有可能发生故障，并且难以执行数据传输。
在过去，为了避免传输系统的故障，例如，没有传输整个拍摄的图像，已经指定了要拍摄的对象并且仅传输了图像中切除指定对象的部分。此外，例如，在后述PTL中，描述了从拍摄的图像中切除图像的部分。
引文列表
专利文献
PTL 1：JP 2016-201756A
PTL 2：JP 2014-39219A
PTL 3：JP 2013-164834A
PTL 4：JP 2012-209831A
发明内容
技术问题
近年来，由于使视频数据具有高清晰度而导致增加传输数据量，期望减少进一步接收和处理上述数据的信号处理设备的负载，并且降低整个系统的功耗。因此，希望提供一种能够减少传输数据量的视频传输设备和视频接收设备。
问题解决方案
根据本公开的实施例的视频传输设备包括检测部、生成部和传输部。检测部基于关于捕捉图像中的关注区域的多条位置信息，检测重叠区域，其中，两个或多个关注区域彼此重叠。生成部生成包括多条位置信息和多个第三图像的传输数据，其中，从多个第一图像中忽略第二图像，使得重叠区域中的第二图像不冗余地包括在关注区域中的多个第一图像中。传输部输出传输数据。
在根据本公开的实施例的视频传输设备中，生成包括多条位置信息和多个第三图像的传输数据，其中，从多个第一图像中忽略第二图像，使得重叠区域中的第二图像不冗余地包括在关注区域中的多个第一图像中。通过该处理，与传输整个捕捉图像的情况相比，可以减少传输数据量，并且进一步与原样传输从捕捉图像中切除的每个图像的情况相比，可以减少传输数据量。
根据本公开的实施例的视频接收设备包括接收部和图像处理部。接收部接收包括多个第三图像和多条位置信息的传输数据。图像处理部基于所接收的多个第三图像中的一个或多个第三图像以及从所接收的多条位置信息中的多条位置信息中获得的关于重叠区域的一条或多条位置信息，在重叠区域中生成一个或多个第二图像。图像处理部还基于所接收的多个第三图像和一个或多个第二图像，在捕捉图像中的关注区域中生成多个第一图像。
在根据本公开的实施例的视频接收设备中，基于接收到的传输数据中包括的多个第三图像和基于接收到的传输数据生成的重叠区域中的一个或多个第二图像，生成捕捉图像中的关注区域中的多个第一图像。通过该处理，即使没有接收到整个捕捉图像，也可以获得要成像的每个关注区域中的第一图像。此外，即使从捕捉图像中切除的每个图像没有原样接收，也可以获得要成像的每个关注区域中的第一图像。因此，与传输整个捕捉图像的情况相比，可以减少传输数据量，并且进一步与原样传输从捕捉图像中切除的每个图像的情况相比，可以减少传输数据量。
发明的有利效果
按照根据本公开的实施例的视频传输设备，生成包括多条位置信息和多个第三图像的传输数据，其中，从多个第一图像中忽略了第二图像，使得重叠区域中的第二图像不冗余地包括在多个第一图像中，因此可以减少传输数据量。
根据根据本公开的实施例的视频接收设备，基于包括在接收的传输数据中的多个第三图像和基于接收的传输数据生成的重叠区域中的一个或多个第二图像，生成捕捉图像中的关注区域中的多个第一图像，因此可以减少传输数据量。
根据本公开的实施例的图像传输设备包括检测电路、生成电路和传输电路。检测电路被配置为基于定义捕捉图像中的两个或多个关注区域的多条位置信息来检测捕捉图像中由两个或多个关注区域共享的重叠区域。生成电路被配置为基于来自所述多条位置信息的第一条位置信息生成第一图像，所述第一图像包括重叠区域，并且所述第一图像对应于所述两个或多个关注区域中的第一关注区域。生成电路被配置为基于重叠区域和多条位置信息生成一个或多个第二图像，所述一个或多个第二图像不包括重叠区域，并且所述一个或多个第二图像对应于所述两个或多个关注区域中除第一关注区域之外的关注区域。生成电路还被配置为生成包括第一图像、一个或多个第二图像和多条位置信息的传输数据。传输电路被配置为输出传输数据。
根据本公开的实施例的图像接收设备包括接收电路和图像处理电路。接收电路被配置为接收包括第一图像、一个或多个第二图像和多条位置信息的传输数据。图像处理电路被配置为生成与捕捉图像中的两个或多个关注区域相关联的多个第三图像，所述多个第三图像基于所述第一图像、所述一个或多个第二图像和所述多条位置信息。
根据本公开的实施例的系统包括图像传输设备和图像接收设备。图像传输设备包括检测电路、生成电路和传输电路。检测电路被配置为基于定义捕捉图像中的两个或多个关注区域的多条位置信息来检测捕捉图像中由两个或多个关注区域共享的重叠区域。生成电路被配置为基于来自所述多条位置信息的第一条位置信息生成第一图像，所述第一图像包括重叠区域，并且所述第一图像对应于所述两个或多个关注区域中的第一关注区域。生成电路被配置为基于重叠区域和多条位置信息生成一个或多个第二图像，所述一个或多个第二图像不包括重叠区域，并且所述一个或多个第二图像对应于所述两个或多个关注区域中除第一关注区域之外的关注区域。生成电路还被配置为生成包括第一图像、一个或多个第二图像和多条位置信息的传输数据。传输电路被配置为输出传输数据。图像接收设备包括接收电路和图像处理电路。接收电路被配置为接收包括第一图像、一个或多个第二图像和多条位置信息的传输数据。图像处理电路被配置为生成与捕捉图像中的两个或多个关注区域相关联的多个第三图像，所述多个第三图像基于所述第一图像、所述一个或多个第二图像和所述多条位置信息。
应当注意，本公开的效果不一定限于本文描述的效果，并且可以是本说明书中描述的任何效果。
附图说明
[图1]图1是示出视频传输系统的示意性配置示例的示图。
[图2]图2是示出当在图1的视频传输设备中的捕捉图像中包括两个ROI(regionof interest，关注区域)时传输数据的生成过程的一个示例的示图。
[图3]图3是示出图2中的帧的配置示例的示图。
[图4]图4是示出当在图1中的视频接收设备中的传输数据中包括两个图像时，在捕捉图像中包括的两个ROI图像的生成过程的一个示例的示图。
[图5]图5是示出当在图1的视频传输设备中的捕捉图像中包括三个ROI时传输数据的生成过程的一个示例的示图。
[图6]图6是示出继续图5传输数据的生成过程的一个示例的示图。
[图7A]图7A是示出图6中的帧的配置示例的示图。
[图7B]图7B是示出图6中的帧的配置示例的示图。
[图8]图8是示出当在图1中的视频接收设备中的传输数据中包括三个图像时在捕捉图像中包括的三个ROI图像的生成过程的一个示例的示图。
[图9]图9是示出包括两个ROI的捕捉图像的一个示例的示图。
[图10]图10是示出在图1中的视频传输设备中从图9中的捕捉图像生成传输数据时获得的帧的配置示例的示图。
[图11]图11是示出图1中的视频传输系统的一个修改示例的示图。
[图12]图12是示出在图11中的视频传输设备中从图5中的捕捉图像生成传输数据时获得的帧的配置示例的示图。
[图13]图13是示出在图11中的视频传输设备中从图5中的捕捉图像生成传输数据时获得的帧的配置示例的示图。
[图14]图14是示出图1中的视频传输系统的一个修改示例的示图。
[图15]图15是示出图1中的视频传输系统的一个修改示例的示图。
[图16]图16是示出由MIPI(移动工业处理器接口)(注册商标)标准调节的低级协议中的分组的概要的一个示例的示图。
[图17]图17是示出由MIPI标准调节的帧格式的一个示例的示图。
具体实施方式
在下文中，将参考附图详细描述用于执行本公开的模式。以下描述是本公开的一个具体示例，并且本公开不限于以下方面。
<实施例>
配置
将描述根据本公开的一个实施例的包括视频传输设备和视频接收设备的视频传输系统1。图1示出了视频传输系统1的示意性配置示例。视频传输系统1包括经由传输路径300彼此连接的视频传输设备100和视频接收设备200。视频传输设备100和视频接收设备200也可以分别称为图像传输设备和图像接收设备。视频传输系统1经由传输路径300将通过对捕捉图像111执行预定处理而生成的传输数据120A从视频传输设备100传输到视频接收设备200。图2示出了传输数据120A的生成过程的一个示例。
传输路径300是例如用于通过使用标准规模的互联网中使用的通信协议(TCP/IP)来执行通信的网络。传输路径300可以是例如用于通过使用其唯一网络的通信协议来执行通信的安全网络。传输路径300例如是互联网、内部网或局域网。在传输路径300和视频传输设备100以及视频接收设备200之间的连接中，例如，可以使用有线LAN(局域网)，或者可以使用便携式电话线、无线LAN(例如，Wi-Fi)等。传输路径300也可以是电连接，例如，印刷电路板上的一根或多根导线。传输路径300也可以是非电连接，例如，一根或多根光纤电缆。
(视频传输设备100)
视频传输设备100包括例如成像部110、图像处理部120和传输部130。成像部110将例如通过光学透镜等获得的光学图像信号转换成图像数据。成像部110具有模数转换电路，并将模拟图像数据转换成数字图像数据。转换后的数据格式可以是通过使用亮度分量Y和色差分量Cb和Cr来表示每个像素的颜色的YCbCr格式，或者可以是RGB格式等。成像部110将通过成像获得的捕捉图像111(数字图像数据)输出到图像处理部120。
图像处理部120对从成像部110输入的捕捉图像111执行预定处理，从而生成传输数据120A，并将传输数据120A输出到传输部130。传输部130经由传输路径300将输入的传输数据120A传输到视频接收设备200。图像处理部120包括例如ROI切除部121、ROI分析部122、重叠检测部123、优先级设置部124和编码部125。
ROI切除部121指定从成像部110输入的捕捉图像111中包括的一个或多个要拍摄的对象，并且为每个指定的对象设置关注区域ROI。关注区域ROI例如是包括指定对象的矩形区域。ROI切除部121从捕捉图像111中切除每个关注区域ROI中的图像(ROI图像112)。ROI切除部121进一步给出区域编号，作为每个设定的关注区域ROI的标识符。在捕捉图像111中，例如，当设置两个关注区域ROI时，ROI切除部121将区域编号1提供给一个关注区域ROI(例如，图2中的关注区域ROI 1)，并将区域编号2提供给另一关注区域ROI(例如，图2中的关注区域ROI 2)。ROI切除部121在存储部中存储例如给定的标识符(区域编号)。ROI切除部121将例如从捕捉图像111中切除的每个ROI图像112存储在存储部中。ROI切除部121还将例如提供给每个关注区域的标识符(区域编号)存储在存储部中，同时将标识符与ROI图像112相关联。
ROI分析部122针对每个关注区域ROI导出关于捕捉图像111中的关注区域ROI的位置信息113。位置信息113包括例如关注区域ROI的左上端坐标(Xa，Ya)、在关注区域ROI的X轴方向上的长度以及在关注区域ROI的Y轴方向上的长度。关注区域ROI的X轴方向上的长度是例如关注区域ROI的X轴方向上的物理区域长度XLa。关注区域ROI的Y轴方向上的长度是例如关注区域ROI的Y轴方向上的物理区域长度YLa。物理区域长度表示关注区域ROI的物理长度。在位置信息113中，可以包括不同于关注区域ROI的左上端的位置坐标。ROI分析部122例如将导出的位置信息113与提供给关注区域的标识符(区域编号)相关联，并将导出的位置信息113存储在存储部中。
对于每个关注区域ROI，作为位置信息113，ROI分析部122可以进一步导出例如关注区域ROI的X轴方向上的输出区域长度XLc或者关注区域ROI的Y轴方向上的输出区域长度YLc。输出区域长度是例如通过对关注区域ROI进行细化处理、像素添加等来执行分辨率改变之后的关注区域ROI的长度。对于每个关注区域ROI，除了位置信息113之外，ROI分析部122可以导出例如感测信息、曝光信息、增益信息、AD(模数)字长等。感测信息指示与关注区域ROI中包括的对象相关的算术运算的内容、用于ROI图像112的后级信号处理(post-stagesignal processing)的补充信息等。曝光信息指示关注区域ROI的曝光时间。增益信息指示关注区域ROI的增益信息。AD字长表示关注区域ROI中每个AD转换像素的数据字长。
当在捕捉图像111中指定了多个要拍摄的对象时，重叠检测部123基于捕捉图像111中的关于关注区域ROI的多条位置信息113，来检测两个或多个关注区域ROI彼此重叠的重叠区域(ROO(region of overlap，重叠区域))。即，对于重叠ROO的每个区域，重叠检测部123导出捕捉图像111中关于重叠区域ROO的位置信息114。重叠区域ROO例如是矩形区域，该矩形区域具有与最小关注区域ROI相同的尺寸或者小于彼此重叠的两个或多个关注区域ROI中的最小关注区域ROI。位置信息114包括例如重叠区域ROO的左上端坐标(Xb，Yb)、重叠区域ROO的X轴方向上的长度以及重叠区域ROO的Y轴方向上的长度。重叠区域ROO的X轴方向上的长度是例如物理区域长度XLb。重叠区域ROO的Y轴方向上的长度是例如物理区域长度YLb。在位置信息114中，可以包括与关注区域ROI中的左上端不同的位置坐标。
优先级设置部124给捕捉图像111中的每个关注区域ROI提供优先级115。除了提供给每个关注区域ROI的区域编号之外，优先级设置部124可以给每个关注区域ROI提供优先级115，或者用提供给每个关注区域ROI的区域编号代替优先级115。
优先级115是每个关注区域ROI的标识符，并且是能够辨别是否对捕捉图像111中的多个关注区域ROI中的任何一个执行重叠区域的忽略(omission)的辨别信息。例如，在均包括重叠区域ROO的两个关注区域中，优先级设置部124给一个关注区域提供1作为优先级115，给另一关注区域提供2作为优先级115。在这种情况下，当创建后述传输图像116时，对优先级115的值较大的关注区域ROI执行重叠区域ROO的忽略。此外，优先级设置部124可以给关注区域ROI提供与提供给每个关注区域ROI的区域编号相同的编号，作为优先级115。优先级设置部124将例如提供给每个关注区域的优先级115与ROI图像112相关联，并将优先级115存储在存储部中。
编码部125对每个传输图像116进行编码，并生成压缩图像数据。作为压缩图像数据的格式，例如，编码部125通过使用基于JPEG(JointPhotographic Experts Group，联合摄影专家组)标准的压缩格式等来压缩每个传输图像116。在执行上述压缩处理之前，编码部125生成每个传输图像116。编码部125生成包括多个传输图像116(第三图像)的传输数据120A，其中，从捕捉图像111获得的多个ROI图像112和多条位置信息113中忽略图像118，使得重叠区域ROO中的图像118(第二图像)不冗余地(re-dundantly)包括在从捕捉图像111获得的多个ROI图像112(第一图像)中。
例如，基于提供给每个关注区域ROI的优先级115，编码部125确定是否对多个ROI图像112中的任何一个执行图像118的忽略。此外，例如，编码部125可以使用提供给每个关注区域ROI的区域编号，作为优先级115，从而确定是否对多个ROI图像112中的任何一个执行图像118的忽略。编码部125使用通过忽略如上所述指定的ROI图像112中的图像118而获得的ROI图像112，作为传输图像116(例如，图2中的传输图像116a2)。编码部125基于上述确定，使用ROI图像112本身作为与不包括重叠区域ROO的ROI图像112或不忽略图像118的ROI图像112相关的传输图像116(例如，图2中的传输图像116a1)。
编码部125还生成其中多条位置信息113和多个传输图像116彼此相关联的帧117。此时，编码部125进一步生成包括帧117的传输数据120A。图3示出了帧117的配置示例。帧117包括例如头部区域R1、分组区域R2和脚部区域R3。
例如，在头部区域R1中，包括作为帧117的标识符的帧号。头部区域R1包括与分组区域R2中包括的每个传输图像116相关的信息。头部区域R1包括例如分组区域R2中包括的传输图像116的数量(ROI的数量)以及与ROI图像112相关的位置信息113(ROI信息)，该ROI图像112对应于分组区域R2中包括的每个传输图像116。例如，在脚部区域R3中，包括关于与在头部区域R1中描述的信息的内容相似的内容的信息等。
例如，在帧117的分组区域R2中，编码部125为传输图像116的每个像素行分离和排列每个传输图像116。因此，在帧117的分组区域R2中，不冗余地包括重叠区域ROO中的图像118。例如，在帧117的分组区域R2中，编码部125进一步忽略与捕捉图像111中的每个传输图像116不对应的像素行。因此，在帧117的分组区域R2中，不包括与捕捉图像111中的每个传输图像116不对应的像素行。应当注意，在图3中的分组区域R2中，由虚线包围的位置对应于重叠区域ROO中的图像118。此外，例如，在帧117的分组区域R2中，编码部125可以针对传输图像116的每个预定区域分离和排列每个传输图像116。
例如，在帧117的分组区域R2中，编码部125为每个像素行提供分组头部，并且对ROI图像112的区域编号(或优先级115)进行描述，例如该ROI图像112对应于分组头部中相应像素行中包括的传输图像116。在图3的分组区域R2中，左端的周围部分是分组头部。在特定像素行中，例如，在包括区域编号(或优先级115)为1的传输图像116的情况下，在分组头部中描述1。此外，在特定像素行中，例如，在包括区域编号(或优先级115)为1的传输图像116和区域编号(或优先级115)为2的传输图像116的情况下，在分组头部中描述1、2。
应当注意，在分组头部中描述1、2的情况下，这意味着靠近分组头部的分组(例如，图3中的1(n))是区域编号(或优先级115)为1的传输图像116的分组；此外，与分组头部分离的分组(例如，图3中的2(1))是区域编号(或优先级115)为2的传输图像116的分组。靠近分组头部的分组(例如，图3中的1(n))和与分组头部分离的分组(例如，图3中的2(1))之间的边界由对应于靠近分组头部的分组(例如，图3中的1(n))的传输图像116的ROI图像112的物理区域长度XLa1来指定。在靠近分组头部的分组(例如，图3中的1(n))中包括的重叠区域ROO中的图像118中，分组的起始位置由对应于与分组头部分离的分组(例如，图3中的2(1))的ROI图像112的物理区域长度XLa2来指定。
(视频接收设备200)
随后，将描述视频接收设备200。图4示出了视频接收设备200中ROI图像119的生成过程的一个示例。视频接收设备200包括例如接收部210和图像处理部220。接收部210经由传输路径300接收从视频传输设备100输出的传输数据120A。接收部210将接收到的传输数据120A输出到图像处理部220。图像处理部220包括例如解码部221、信息提取部222和ROI图像生成部223。
解码部221解码传输数据120A，并生成多个传输图像116和多条位置信息113。例如，从通过解码获得的多条位置信息113中，信息提取部222提取对应于每个传输图像116的关注区域ROI的坐标(例如，左上端坐标)、长度(例如，物理区域长度)和区域编号(或优先级115)。即，传输数据120A包括对应于每个传输图像116的关注区域ROI的区域编号(或优先级115)，作为能够辨别是否对包含在传输数据120A中的多个传输图像116中的任何一个执行重叠区域ROO中的图像118的忽略的辨别信息。
例如，通过对传输数据120A的解码，假设生成两个传输图像116。此时，信息提取部222提取对应于一个传输图像116(116a1)的关注区域ROI的坐标(例如，左上端坐标(Xa1，Ya1))、长度(例如，物理区域长度XLa1，YLa1)和区域编号1(或优先级115(＝1))。信息提取部222还提取对应于另一传输图像116(116a2)的关注区域ROI的坐标(例如，左上端坐标(Xa2，Ya2))、长度(例如，物理区域长度Xa2，YLa2)和区域编号2(或优先级115(＝2))。
ROI图像生成部223基于多个接收到的传输图像116中的一个或多个传输图像116以及从多条接收到的位置信息113中的多条位置信息113获得的关于重叠区域ROO的一条或多条位置信息114，在重叠区域ROO中生成一个或多个图像118。
例如，通过对传输数据120A的解码，假设生成两个传输图像116和两条位置信息113。此时，ROI图像生成部223基于对应于一个传输图像116(116a1)的关注区域ROI的坐标(例如，左上端坐标(Xa1，Ya1))和长度(例如，物理区域长度XLa1，YLa1)以及对应于另一传输图像116(116a2)的关注区域ROI的坐标(例如，左上端坐标(Xa2，Ya2))和长度(例如，物理区域长度XLa2，YLa2)，导出关于重叠区域ROO的位置信息114。例如，作为关于重叠区域ROO的上述位置信息114，ROI图像生成部223导出重叠区域ROO的坐标(例如，左上端坐标(Xb1，Yb1))和长度(例如，物理区域长度XLb1，YLb1)。ROI图像生成部223确定导出的位置信息114是否包括在两个传输图像116中的任何一个中。结果，在导出的位置信息114包括在传输图像116中的情况下(116a1)，ROI图像生成部223从传输图像116中切除对应于导出的位置信息114的区域中的图像(116a1)，并获得重叠区域ROO中的图像118。
ROI图像生成部223还基于从传输数据120A中读出的多个传输图像116和重叠区域ROO中的一个或多个图像118，在捕捉图像111的关注区域中生成多个图像(ROI图像112)。ROI图像生成部223使用例如从传输数据120A读出的区域编号(或优先级115)，从而确定重叠区域ROO中的图像118是否添加到传输数据120A中包括的多个传输图像116中的任何一个。ROI图像生成部223将例如重叠区域ROO中的图像118添加到区域编号(或优先级115)最大的传输图像116(例如，图4中的传输图像116a2)中，从而生成ROI图像119(例如，图4中的ROI图像119a2)。ROI图像生成部223使用例如传输图像116本身，作为与不包括重叠区域ROO的传输图像116或根据上述确定没有添加图像118的传输图像116相关的ROI图像119(例如，图4中的ROI图像119a1)。应当注意，由接收部210接收的多条位置信息113对应于如上所述获得的关于ROI图像119的多条位置信息，并且对应于捕捉图像111中关于ROI图像112的多条位置信息。因此，如上所述获得的多个ROI图像119等同于捕捉图像111中的多个ROI图像112。
过程
随后，将参考图2和图4描述视频传输系统1中的数据传输过程的一个示例。
首先，成像部110将通过成像获得的捕捉图像111(数字图像数据)输出到图像处理部120。ROI切除部121指定从成像部110输入的捕捉图像111中包括的两个关注区域ROI 1和ROI 2。ROI切除部121从捕捉图像111切除关注区域ROI 1和ROI 2中的每一个中的图像(ROI图像112a1和112a2)。ROI切除部121将区域编号1标识符提供给关注区域ROI 1，并将区域编号2作为标识符提供给关注区域ROI 2。
ROI分析部122针对每个关注区域ROI导出捕捉图像111中的关于关注区域ROI的位置信息113。基于关注区域ROI 1，ROI分析部122导出关注区域ROI 1的左上端坐标(Xa1，Ya1)、关注区域ROI 1的X轴方向上的长度(XLa1)和关注区域ROI 1的Y轴方向上的长度(YLa1)。基于关注区域ROI 2，ROI分析部122导出关注区域ROI 2的左上端坐标(Xa2，Ya2)、关注区域ROI 2的X轴方向上的长度(XLa2)和关注区域ROI 2的Y轴方向上的长度(YLa2)。
基于捕捉图像111中关于两个关注区域ROI 1和ROI 2的位置信息113，重叠检测部123检测两个关注区域ROI 1和ROI 2彼此重叠的重叠区域ROO。即，重叠检测部123导出捕捉图像111中关于重叠区域ROO的位置信息114。作为捕捉图像111中关于重叠区域ROO的位置信息114，重叠检测部123导出重叠区域ROO的左上端坐标(Xb1，Yb1)、重叠区域ROO的X轴方向上的长度(XLb1)以及重叠区域ROO的Y轴方向上的长度(YLb1)。
在两个关注区域ROI 1和ROI 2中，优先级设置部124将1作为优先级115提供给一个关注区域ROI 1，并将2作为优先级115提供给另一关注区域ROI 2。
编码部125生成传输数据120A，该传输数据120A包括通过从捕捉图像111中获得的两个ROI图像112a1和112a2中忽略图像118而获得的两个传输图像116a1和116a2以及关于关注区域ROI 1和ROI 2的两条位置信息113，使得重叠区域ROO中的图像118不冗余地包括在两个关注区域ROI 1和ROI 2中。
基于两个关注区域ROI 1和ROI 2的区域编号(或优先级115)，编码部125确定是否对两个ROI图像112a1和112a2中的任何一个执行图像118的忽略。在两个关注区域ROI 1和ROI 2中，编码部125对对应于区域编号(或优先级115)较大的关注区域ROI 2的关注区域12a2执行图像118的忽略，从而生成传输图像116a2。在这两个关注区域ROI 1和ROI 2中，编码部125使用ROI图像12a1本身，作为与对应于区域编号(或优先级115)较小的关注区域ROI1的ROI图像12a1相关的传输图像16a1。
编码部125还生成帧117，其中，关于关注区域ROI 1和ROI 2的两条位置信息113以及两个传输图像116a1和116a2彼此相关联。编码部125还生成包括生成的帧117的传输数据120A，并且经由传输路径300将传输数据120A传输到视频接收设备200。
接收部210经由传输路径300接收从视频传输设备100输出的传输数据120A。接收部210将接收到的传输数据120A输出到图像处理部220。解码部221解码传输数据120A，并生成关于关注区域ROI 1和ROI 2的两个传输图像116a1和116a2以及两条位置信息113。信息提取部222提取对应于传输图像116a1的关注区域ROI的坐标(例如，左上端坐标(Xa1，Ya1))、长度(例如，物理区域长度XLa1，YLa1)和区域编号1(或优先级115(＝1))。信息提取部222还提取对应于传输图像116a2的关注区域ROI的坐标(例如，左上端坐标(Xa2，Ya2))、长度(例如，物理区域长度Xa2，YLa2)和区域编号2(或优先级115(＝2))。
基于两个接收的传输图像116a1和116a2以及从两个接收的位置信息113获得的关于重叠区域ROO的位置信息，ROI图像生成部223生成重叠区域ROO中的图像118。
ROI图像生成部223基于对应于传输图像116a1的关注区域ROI的坐标(左上端坐标(Xa1，Ya1))和长度(物理区域长度XLa1，YLa1)以及对应于传输图像116a2的关注区域ROI的坐标(左上端坐标(Xa2，Ya2))和长度(物理区域长度XLa2，YLa2)，导出关于重叠区域ROO的位置信息114。作为关于重叠区域ROO的上述位置信息114，例如，ROI图像生成部223导出重叠区域ROO的坐标(左上端坐标(Xb1，Yb1))和长度(物理区域长度XLb1，YLb1)。ROI图像生成部223确定导出的位置信息114是否包括在两个传输图像116中的任何一个中。结果，由于导出的位置信息114包括在传输图像116a1中，所以ROI图像生成部223从传输图像116a1中切除对应于导出的位置信息114的区域中的图像，并且获得重叠区域ROO中的图像118。
ROI图像生成部223还基于从传输数据120A读出的两个传输图像116a1和116a2以及重叠区域ROO中的一个或多个图像118，在捕捉图像111的关注区域中生成两个图像(ROI图像112a1和112a2)。ROI图像生成部223使用从传输数据120A读出的区域编号(或优先级115)，从而确定重叠区域ROO中的图像118是否添加到传输数据120A中包括的两个传输图像116a1和116a2中的任何一个。
ROI图像生成部223将重叠区域ROO中的图像118添加到区域编号(或优先级115)最大的传输图像116a2，从而生成ROI图像119a2。ROI图像生成部223使用传输图像116a1本身，作为与未添加图像118的传输图像116a1相关的ROI图像119a1。应当注意，由接收部210接收的两条位置信息113对应于关于如上所述获得的ROI图像119a1和119a2的两条位置信息，并且对应于捕捉图像111中关于ROI图像112a1和112a2的两条位置信息113。因此，如上所述获得的多个ROI图像119a1和119a2等同于捕捉图像111中的两个ROI图像112a1和112a2。
迄今为止，已经在视频传输设备100中的捕捉图像111中包括两个ROI图像112时，例示了传输数据120A的生成过程。此外，已经在视频接收设备200中的传输数据120A中包括两个图像(传输图像116)时，例示了包括在捕捉图像111中的两个ROI图像112的生成过程。在下文中，将描述当在视频传输设备100中的捕捉图像111中包括三个ROI图像112时传输数据120A的生成过程示例以及当在视频接收设备200中的传输数据120A中包括三个图像(传输图像116)时捕捉图像111中包括的三个ROI图像112的生成过程示例。
随后，将参考图5、图6、图7A、图7B和图8描述视频传输系统1中的数据传输过程的一个示例。图5和图6示出了当在视频传输设备100中的捕捉图像111中包括三个ROI图像112(112a4、112a5和112a6)时传输数据120A的生成过程的一个示例。图7A和7B示出了图6中的帧117的配置示例。图8示出了当在视频接收设备200中的传输数据120A中包括三个传输图像116a4、116a5和116a6时捕捉图像111中包括的三个ROI图像112(112a4、112a5和112a6)的生成过程的一个示例。
首先，成像部110将通过成像获得的捕捉图像111(数字图像数据)输出到图像处理部120。ROI切除部121指定从成像部110输入的捕捉图像111中包括的三个关注区域ROI 4、ROI 5和ROI 6。ROI切除部121从捕捉图像111中切除关注区域ROI 4、ROI 5和ROI 6中的每一个中的图像(ROI图像112a4、112a5和112a6)。ROI切除部121将区域编号1作为标识符提供给ROI 4，将区域编号2作为标识符提供给ROI 5，并将区域编号3作为标识符提供给ROI 6。
ROI分析部122针对每个关注区域ROI导出捕捉图像111中关于关注区域ROI的位置信息113。基于关注区域ROI 4，ROI分析部122导出关注区域ROI 1的左上端坐标(Xa4，Ya4)、关注区域ROI 4的X轴方向上的长度(XLa4)和关注区域ROI 4的Y轴方向上的长度(YLa4)。基于关注区域ROI 5，ROI分析部122导出关注区域ROI 5的左上端坐标(Xa5，Ya5)、关注区域ROI 5的X轴方向上的长度(XLa5)和关注区域ROI 5的Y轴方向上的长度(YLa5)。基于关注区域ROI 6，ROI分析部122导出关注区域ROI 6的左上端坐标(Xa6，Ya6)、关注区域ROI 6的X轴方向上的长度(XLa6)和关注区域ROI 6的Y轴方向上的长度(YLa6)。
基于捕捉图像111中关于三个关注区域ROI 4、ROI 5和ROI 6的位置信息113，重叠检测部123检测三个关注区域ROI 4、ROI 5和ROI 6中的两个彼此重叠的重叠区域ROO 1、ROO 2和ROO 3。即，重叠检测部123导出捕捉图像111中关于重叠区域ROO 1、ROO 2和ROO 3的位置信息114。重叠区域ROO 1是关注区域ROI 4和关注区域ROI 5彼此重叠的区域。重叠区域ROO 2是关注区域ROI 4和关注区域ROI 6彼此重叠的区域。重叠区域ROO 3是关注区域ROI 5和关注区域ROI 6彼此重叠的区域。作为捕捉图像111中关于重叠区域ROO 1的位置信息114，重叠检测部123导出重叠区域ROO 1的左上端坐标(Xb2，Yb2)、重叠区域ROO1的X轴方向上的长度(XLb2)以及重叠区域ROO 1的Y轴方向上的长度(YLb2)。作为捕捉图像111中关于重叠区域ROO 2的位置信息114，重叠检测部123导出重叠区域ROO 2的左上端坐标(Xb3，Yb3)、重叠区域ROO 2的X轴方向上的长度(XLb3)以及重叠区域ROO 2的Y轴方向上的长度(YLb3)。作为捕捉图像111中关于重叠区域ROO 3的位置信息114，重叠检测部123导出重叠区域ROO 3的左上端坐标(Xb4，Yb4)、重叠区域ROO 3的X轴方向上的长度(XLb4)以及重叠区域ROO 3的Y轴方向上的长度(YLb4)。
在三个关注区域ROI 4、ROI 5和ROI 6中，优先级设置部124将1作为优先级115提供给第一关注区域ROI 4，将2作为优先级115提供给第二关注区域ROI 5，并且将3作为优先级115提供给第三关注区域ROI 6。
编码部125生成传输数据120A，该传输数据120A包括从捕捉图像111获得的三个关注区域图像12a4、112a5和112a6中忽略图像118的三个传输图像116a4、116a5和116a6以及关于关注区域ROI 4、ROI 5和ROI6的三条位置信息113，使得重叠区域ROO 1、ROO 2和ROO 3中的图像118不冗余地包括在三个关注区域ROI 4、ROI 5和ROI 6中。
基于两个关注区域ROI 4和ROI 5的区域编号(或优先级115)，编码部125确定是否对两个ROI图像112a4和112a5中的任何一个执行重叠区域ROO 1中的图像118的忽略。在两个关注区域ROI 4和ROI 5中，编码部125对与区域编号(或优先级115)较大的关注区域ROI5对应的ROI图像112a5执行重叠区域ROO 1中的图像118忽略，从而生成传输图像116a5。
基于两个关注区域ROI 5和ROI 6的区域编号(或优先级115)，编码部125确定是否对两个ROI图像112a5和112a6中的任何一个执行重叠区域ROO 3中的图像118的忽略。在两个关注区域ROI 5和ROI 6中，编码部125对与区域编号(或优先级115)较大的关注区域ROI6对应的ROI图像112a6执行重叠区域ROO 3中的图像118忽略。基于两个关注区域ROI 4和ROI 6的区域编号(或优先级115)，编码部125进一步确定是否对两个ROI图像112a4和112a6中的任何一个执行重叠区域ROO 2中的图像118的忽略。在两个关注区域ROI 4和ROI 6中，编码部125对与区域编号(或优先级115)较大的关注区域ROI 6对应的ROI图像112a6执行重叠区域ROO 2中的图像118忽略。如上所述，编码部125生成传输图像116a6。
编码部125还生成帧117，其中，关于三个关注区域ROI 4、ROI 5和ROI 6的位置信息113和三个传输图像116a4、116a5和116a6彼此相关联。编码部125还生成包括生成的帧117的传输数据120A，并且经由传输路径300将传输数据120A传输到视频接收设备200。
例如，如图7A和7B所示，帧117包括头部区域R1、分组区域R2和脚部区域R3。
例如，在头部区域R1中，包括作为帧117的标识符的帧号。头部区域R1包括关于分组区域R2中包括的每个传输图像116的信息。头部区域R1包括例如分组区域R2中包括的传输图像116的数量(ROI的数量)和关于对应于分组区域R2中包括的每个传输图像116的ROI图像112的位置信息113(ROI信息)。例如，在脚部区域R3中，包括关于与头部区域R1的内容类似的内容的信息等。
例如，在帧117的分组区域R2中，编码部125为传输图像116的每个像素行分离和排列每个传输图像116。因此，在帧117的分组区域R2中，不冗余地包括重叠区域ROO 1、ROO 2和ROO 3中的图像118。例如，在帧117的分组区域R2中，编码部125进一步忽略不对应于捕捉图像111中的每个传输图像116的像素行。因此，在帧117的分组区域R2中，不包括与捕捉图像111中的每个传输图像116不对应的像素行。应当注意，在图7B的分组区域R2中，由虚线包围的位置对应于重叠区域ROO1、ROO 2和ROO 3中的图像118。
在帧117的分组区域R2中，编码部125例如为每个像素行提供分组头，并且例如在分组头中描述对应于在相应像素行中包括的传输图像116的ROI图像112的区域编号(或优先级115)。在图7B的分组区域R2中，左端的周围部分是分组头部。在某个像素行中，例如，在包括区域编号(或优先级115)为4的传输图像116的情况下，在分组头中描述4。此外，在某个像素行中，例如，在包括区域编号(或优先级115)为4的传输图像116以及区域编号(或优先级115)为5的传输图像116的情况下，在分组头中描述了4、5或5、4。此外，在特定像素行中，例如，在包括区域编号(或优先级115)为5的传输图像116和区域编号(或优先级115)为6的传输图像116的情况下，在分组头中描述5、6或6、5。
应当注意，当在分组头中描述4、5时，这意味着靠近分组头部的分组(例如，图7B中的4(i))是区域编号(或优先级115)为4的传输图像116的分组；此外，与分组头部分离的分组(例如，图7B中的5(1))是区域编号(或优先级115)为5的传输图像116的分组。靠近分组头的分组(例如，图7B中的4(i))和与分组头部分离的分组(例如，图7B中的5(1))之间的边界由对应于靠近分组头的分组(例如，图7B中的4(i))的传输图像116的ROI图像112的物理区域长度XLa4来指定。在靠近分组头的分组(例如，图7B中的4(i))中包括的重叠区域ROO 1中的图像118中，分组的起始位置由对应于与分组头部分离的分组(例如，图7B中的5(1))的ROI图像112的物理区域长度XLa5来指定。
接收部210经由传输路径300接收从视频传输设备100输出的传输数据120A。接收部210将接收到的传输数据120A输出到图像处理部220。解码部221解码传输数据120A，并生成三个传输图像116a4、116a5和116a6以及关于关注区域ROI 4、ROI 5和ROI 6的三条位置信息113。信息提取部222提取对应于传输图像116a4的关注区域ROI的坐标(例如，左上端坐标(Xa4，Ya4))、长度(例如，物理区域长度XLa4，YLa4)和区域编号4(或优先级115)。信息提取部222还提取对应于传输图像116a5的关注区域ROI的坐标(例如，左上端坐标(Xa5，Ya5))、长度(例如，物理区域长度XLa5，YLa5)和区域编号5(或优先级115)。信息提取部222还提取对应于传输图像116a6的关注区域ROI的坐标(例如，左上端坐标(Xa6，Ya6))、长度(例如，物理区域长度XLa6，YLa6)和区域编号6(或优先级115)。
ROI图像生成部223基于三个接收到的传输图像116a4、116a5和116a6以及从三条接收到的位置信息113获得的关于重叠区域ROO 1、ROO 2和ROO 3的位置信息114，生成重叠区域ROO 1、ROO 2和ROO 3中的图像118。此时，ROI图像生成部223将重叠区域ROO 2中的图像118和重叠区域ROO 3中的图像118聚集成一个图像118b1。ROI图像生成部223还将重叠区域ROO 1中的图像118和重叠区域ROO 3中的图像118聚集成一个图像118b2。
ROI图像生成部223基于对应于传输图像116a4的关注区域的坐标(左上端坐标(Xa4，Ya4))和长度(物理区域长度XLa4，YLa4)以及对应于传输图像116a5的关注区域的坐标(左上端坐标(Xa5，Ya5))和长度(物理区域长度XLa5，YLa5)，导出关于重叠区域ROO 1的位置信息114。作为关于重叠区域ROO 1的上述位置信息114，例如，ROI图像生成部223导出重叠区域ROO 1的坐标(左上端坐标(Xb2，Yb2))和长度(物理区域长度XLb2，YLb2)。
ROI图像生成部223基于对应于传输图像116a5的关注区域的坐标(左上端坐标(Xa5，Ya5))和长度(物理区域长度XLa5，YLa5)以及对应于传输图像116a6的关注区域的坐标(左上端坐标(Xa6，Ya6))和长度(物理区域长度XLa6，YLa6)，导出关于重叠区域ROO 3的位置信息114。作为关于重叠区域ROO 3的上述位置信息114，例如，ROI图像生成部223导出重叠区域ROO 3的坐标(左上端坐标(Xb3，Yb3))和长度(物理区域长度XLb3，YLb3)。
ROI图像生成部223基于对应于传输图像116a4的关注区域的坐标(左上端坐标(Xa4，Ya4))和长度(物理区域长度XLa4，YLa4)以及对应于传输图像116a6的关注区域的坐标(左上端坐标(Xa6，Ya6))和长度(物理区域长度XLa6，YLa6)，导出关于重叠区域ROO 2的位置信息114。作为关于重叠区域ROO 2的上述位置信息114，例如，ROI图像生成部223导出重叠区域ROO 2的坐标(左上端坐标(Xb4，Yb4))和长度(物理区域长度XLa4，YLa4)。
ROI图像生成部223还基于从传输数据120A读出的三个传输图像116a4、116a5和116a6以及重叠区域ROO 1、ROO 2和ROO 3中的三个图像118，在捕捉图像111的关注区域中生成三个图像(ROI图像112a4、112a5和112a6)。具体地，ROI图像生成部223基于通过合成获得的三个传输图像116a4、116a5和116a6以及图像118b1和118b2，在捕捉图像111的关注区域ROI中生成三个图像(ROI图像112a4、112a5和112a6)。ROI图像生成部223使用从传输数据120A读出的区域编号(或优先级115)，从而确定图像118b1和118b2是否添加到传输数据120A中包括的三个传输图像116a4、116a5和116a6中的任何一个。
ROI图像生成部223将图像118b2添加到区域编号(或优先级115)最大的传输图像116a6，从而生成ROI图像119a6。ROI图像生成部223将图像118b1添加到区域编号(或优先级115)第二大的传输图像116a5，从而生成ROI图像119a5。
ROI图像生成部223使用传输图像116a4本身，作为与未添加图像118b1和118b2的传输图像116a4相关的ROI图像119a4。应当注意，由接收部210接收的三条位置信息113对应于如上所述获得的关于ROI图像119a4、119a5和119a6的三条位置信息，并且对应于捕捉图像111中关于ROI图像112a4、112a5和112a6的三条位置信息113。因此，如上所述获得的多个ROI图像119a4、119a5和119a6等同于捕捉图像111中的多个ROI图像112a4、112a5和112a6。
图9示出了捕捉图像111的一个示例，其中，包括两个关注区域ROI7和ROI 8。如图9所示，在另一关注区域ROI 8包括在一个关注区域ROI7中的情况下，帧117例如如图10所示。在图10所示的帧117的头部区域R1中，关注区域ROI 8的优先级115是2，并且是大于关注区域ROI 7的优先级115(＝1)的值。因此，在图10所示的分组区域R2中，忽略了对应于关注区域ROI 8的整个ROI图像112。
效果
随后，将描述视频传输系统1的效果。
近年来，用于大规模传输具有大数据量的数据的使用数量正在增加。大负载很容易施加到传输系统，并且在最坏的情况下，传输系统可能发生故障，并且难以执行数据传输。
在过去，为了避免传输系统的故障，例如，没有传输整个拍摄的图像，已经指定了要拍摄的对象，并且仅传输了图像中切除了指定对象的部分。然而，在数据传输领域，希望进一步减少传输数据量。
相反，在本实施例中，在关注区域ROI中的多个图像(ROI图像112)中，生成包括从多个ROI图像112中忽略图像118的多个传输图像116和多条位置信息113的传输数据120A，使得不冗余地包括重叠区域ROO中的图像118。通过该处理，与传输整个捕捉图像111的情况相比，可以减少传输数据量；此外，与原样传输从捕捉图像111中切除的每个图像的情况相比，可以减少传输数据量。
此外，在本实施例中，关注区域ROI的区域编号(或优先级115)包括在传输数据120A中，作为能够辨别是否对捕捉图像111中的多个关注区域ROI中的任何一个执行重叠区域ROO的忽略的辨别信息。通过该处理，在从传输数据120A恢复捕捉图像111中的多个关注区域ROI时，可以减少算术运算的量。此外，由于用于减少上述算术运算量的数据量非常小，所以几乎不会对传输数据120A的数据量施加影响，并且可以减少上述算术运算量。
此外，在本实施例中，提供给每个关注区域ROI的区域编号用作优先级115，从而确定是否对多个ROI图像112中的任何一个执行图像118的忽略。通过该处理，不需要在传输数据120A中包括区域编号和优先级115，因此可以减少传输数据量。
此外，在本实施例中，位置信息113包括每个关注区域ROI中的预定位置的坐标和关于每个关注区域ROI的尺寸的信息。通过该处理，由于位置信息113的数据量非常小，即使位置信息113包括在传输数据120A中，也几乎不会对传输数据120A的数据量施加影响。因此，当恢复捕捉图像111中的多个关注区域ROI时，算术运算量可以从传输数据120A中减少，其中，传输数据量小。
此外，在本实施例中，多条位置信息113和多个传输图像116彼此相关联的帧117包括在传输数据120A中。通过该处理，在恢复捕捉图像111中的多个关注区域ROI时，可以从传输数据120A中减少算术运算量。此外，由于用于减少上述算术运算量的数据量非常小，所以几乎不会对传输数据120A的数据量施加影响，并且可以减少上述算术运算量。
此外，在本实施例中，在帧117中，对于传输图像116的每个像素行或传输图像116的每个预定区域，分离和设置每个传输图像116。通过该处理，在恢复捕捉图像111中的多个关注区域ROI时，可以从传输数据120A中减少算术运算量。此外，由于用于减少上述算术运算量的数据量非常小，所以几乎不会对传输数据120A的数据量施加影响，并且可以减少上述算术运算量。
此外，在本实施例中，基于包括在接收到的传输数据120A中的多个传输图像116和基于接收到的传输数据120A生成的重叠区域ROO中的一个或多个图像118，生成捕捉图像111中的关注区域ROI中的多个图像(ROI图像112)。通过该处理，即使没有接收到整个捕捉图像111，也可以获得要成像的每个关注区域ROI中的图像(ROI图像112)。此外，即使没有原样接收从捕捉图像111切除的每个图像，也可以获得要成像的每个关注区域ROI中的图像(ROI图像112)。因此，与传输整个捕捉图像的情况相比，可以减少传输数据量；此外，与原样传输从捕捉图像中切除的每个图像的情况相比，可以减少传输数据量。
此外，在本实施例中，关注区域ROI的区域编号(或优先级115)用作能够辨别是否对捕捉图像111中的多个关注区域ROI中的任何一个执行重叠区域ROO的忽略的辨别信息，从而确定图像118是否添加到包括在传输数据120A中的多个传输图像116中的任何一个。通过该处理，在恢复捕捉图像111中的多个关注区域ROI时，可以从传输数据120A中减少算术运算量。此外，由于用于减少上述算术运算量的数据量非常小，所以几乎不会对传输数据120A的数据量施加影响，并且可以减少上述算术运算量。
此外，在本实施例中，由接收部210接收的多条位置信息113对应于捕捉图像111中关于关注区域ROI的多条位置信息。如上所述，与捕捉图像111中关于关注区域ROI的多条位置信息对应的多条位置信息113传输到视频接收设备200，从而可以通过使用视频接收设备200中的多条位置信息113来恢复捕捉图像111中的多个关注区域ROI。因此，与原样传输从捕捉图像中切除的每个图像的情况相比，可以减少传输数据量。
<修改示例>
在下文中，将描述根据上述实施例的视频传输系统1的修改示例。
修改示例A
图11示出了根据上述实施例的视频传输系统1的一个修改示例。代替上述实施例的视频接收设备200，根据本修改示例的视频传输系统1包括两个视频接收设备200A和200B，其包括与上述实施例的视频接收设备200相同的组件。在视频接收设备200A中，接收部210A具有与上述实施例的接收部210相同的组件，图像处理部220A具有与上述实施例的图像处理部220相同的组件。在视频接收设备200B中，接收部210B具有与上述实施例的接收部210相同的组件，图像处理部220B具有与上述实施例的图像处理部220相同的组件。
在本修改示例中，图像处理部120包括两个编码部125A和125B，代替编码部125。两个编码部125A和125B对每个传输图像116进行编码，并生成压缩图像数据。此外，在本修改示例中，视频传输设备100包括两个传输部130A和130B，代替传输部130。在本修改示例中，图像处理部120包括ROI切除部121和编码部125之间的分配部126(125A和125B)。在图像处理部120中，优先级设置部124的输出被输入到分配部126。此外，在本修改示例中，传输部130A经由传输路径300A将从编码部125A输出的传输数据传输到视频接收设备200A。此外，在本修改示例中，传输部130B经由传输路径300A将从编码部125B输出的传输数据传输到视频接收设备200B。
分配部126生成在上述实施例的编码部125中执行的多个传输图像116。分配部126将多个生成的传输图像116分配成输入到编码部125A的一个或多个传输图像116和输入到编码部125B的一个或多个传输图像116。分配部126将多个生成的传输图像116和多条位置信息113分成多个组，针对每个组生成多个传输图像116和一条或多条位置信息113彼此相关联的帧117，并将帧117输出到编码部125A和125B。编码部125A和125B为每个输入帧117生成传输数据120A。
编码部125A基于从分配部126输入的一个或多个传输图像116生成传输数据。编码部125A生成的传输数据基本上具有与根据上述实施例的编码部125生成的传输数据120A相似的配置。编码部125B基于从分配部126输入的一个或多个传输图像116生成传输数据。编码部125B生成的传输数据基本上具有与上述实施例的编码部125生成的传输数据120A相似的配置。
分配部126具有例如被设置为要由图像处理部220A处理的数据的信息(第一设置信息)和被设置为要由图像处理部220B处理的数据的信息(第二设置信息)。因此，分配部126例如基于这些信息(第一设置信息和第二设置信息)执行上述分配。
如图5所示，例如，假设从捕捉图像111中切除三个关注区域ROI 112(包括112a4、112a5和112a6)。在这种情况下，分配部126将例如包括小重叠区域ROO 3的传输图像116a4和116a6分配到编码部125A。此外，分配部126将例如具有比重叠区域ROO 3大的重叠区域ROO 1的传输图像116a5分配到编码部125B。结果，编码部125A输出如图12所示的帧117A，编码部125B生成如图13所示的帧117B。在帧117A中，不存在图7B所示的重叠区域ROO 1和ROO3，因此与上述实施例的视频接收设备200相比，视频接收设备200A中的算术运算量可以减少。此外，在帧117B中，不存在图7B所示的重叠区域ROO 1、ROO 2和ROO 3，因此，与上述实施例的视频接收设备200相比，视频接收设备200B中的算术运算量可以减少。
应当注意，在根据上述实施例的视频传输系统1中，可以在编码部125之后对传输部130A和130B执行分配处理。然而，注意，在这种情况下，编码部125需要将能够执行上述分配处理的类型的数据输出到执行上述分配处理的部分。在执行上述分配处理的部分中，执行类似于本修改示例的分配处理，从而与上述实施例的视频接收设备200相比，可以减少视频接收设备200B中的算术运算量。
修改示例B
图14示出了根据上述修改示例A的视频传输系统1的一个修改示例。在根据上述修改示例A的视频传输系统1中，根据本修改示例的视频传输系统1在视频接收设备200A中提供分配信息传输部230A，并且在视频接收设备200B中提供分配信息传输部230B。分配信息传输部230A和230B的输出与分配部126耦合在一起。
分配信息传输部230A将例如被设置为要由视频接收设备200A处理的数据的信息(设置信息)传输到分配部126。分配信息传输部230B将例如被设置为要由视频接收设备200B处理的数据的信息(设置信息)传输到分配部126。在本文中，设置信息对应于传输目的地信息，该传输目的地信息是关于从视频传输设备100输出的传输数据的传输目的地的信息。分配部126例如基于从视频接收设备200A和200B输入的设置信息来执行上述分配。以类似于修改示例A的方式，与上述实施例的视频接收设备200相比，该处理允许视频接收设备200A和200B中的算术运算量减少。
修改示例C
图15示出了根据上述修改示例A的视频传输系统1的一个修改示例。在根据上述修改示例B的视频传输系统1中，根据本修改示例的视频传输系统1包括视频接收设备200C，代替视频接收设备200A和200B。视频接收设备200C包括例如接收部210C、图像处理部220C和220D、分配控制部240和分配信息传输部230C。
接收部210C经由传输路径300A和300B接收从视频传输设备100输出的两种类型的传输数据。在两种类型的接收传输数据中，接收部210C向图像处理部220C输出适合于图像处理部220C的数据，并且在两种类型的接收传输数据中，向图像处理部220D输出适合于图像处理部220D的数据。图像处理部220C处理从接收部210C输入的传输数据。图像处理部220D处理从接收部210C输入的传输数据。图像处理部220C和220D都具有类似于上述实施例的图像处理部220的配置。图像处理部220C和220D均包括例如IC芯片。图像处理部220C和220D均向分配控制部240输出例如与算术处理能力相关的实时数据。基于从图像处理部220C和220D输入的数据，分配控制部240生成用于控制分配部126的控制数据，并将控制数据输出到分配信息传输部230C。分配信息传输部230C将从分配控制部240输入的控制数据输出到分配部126。分配部126基于从分配信息传输部230C输入的控制数据来调整分配处理。
如图5所示，例如，假设从捕捉图像111中切除三个关注区域ROI 112(包括112a4、112a5和112a6)。在这种情况下，分配部126将例如包括小重叠区域ROO 3的传输图像116a4和116a6分配到编码部125A。此外，分配部126将例如具有比重叠区域ROO 3大的重叠区域ROO 1的传输图像116a5分配给编码部125B。结果，编码部125A生成如图12所示的帧117A，编码部125B生成如图13所示的帧117B。
此后，实时数据发生变化，分配控制部240生成例如控制信号，用于将输入到图像处理部220C的传输数据和输入到图像处理部220D的传输数据彼此替换，并将控制信号输出到分配信息传输部230C。分配信息传输部230C将从分配控制部240输入的控制信号输入到分配部126。然后，基于从分配信息传输部230C输入的控制信号，分配部126将输入到编码部125A的数据输入到编码部125B，并将输入到编码部125B的数据输入到编码部125A。编码部125A基于从分配部126输入的数据生成传输数据，编码部125B基于从分配部126输入的数据生成传输数据。传输部130A经由传输路径300A将从编码部125A输入的数据输出到接收部210C。传输部130B经由传输路径300B将从编码部125B输入的数据输出到接收部210C。接收部210C将经由传输路径300A输入的传输数据输入到图像处理部220C，并将经由传输路径300B输入的传输数据输入到图像处理部220D。
如上所述，在本修改示例中，通过分配控制部240监控图像处理部220C和220D的实时来执行适当的分配处理。因此，可以在视频接收设备200C中有效地执行数据处理。
<应用示例>
随后，将描述根据上述实施例的视频传输系统1的MIPI标准的应用示例及其修改示例。图16示出了由MIPI标准调节的低级协议中的分组概要的一个示例。图17示出了由MIPI标准调节的帧格式的一个示例。
在图16中，分组头部上的信息(例如，优先级信息等)被认为写入被描述为“SP”(短分组)的位置(由黑色箭头指示的位置)。然而，在“SP”中，16位已经由MIPI标准定义并在另一应用中使用，因此，在关于分组头部的信息中，需要添加和定义与超过16位的内容相关的新分组头部区域。
在图17中，包括在帧117、117A和117B的头部区域R1中的内容被认为写入被描述为“嵌入数据”的位置(由黑色箭头指示的位置)。某个级别的内容数据量可以写入“嵌入式数据”中。因此，包括在帧117、117A和117B的头部区域R1中的内容可以写入被描述为“嵌入数据”的位置(由黑色箭头指示的位置)
如上所述，参考实施例及其修改示例来描述本公开；此外，本公开不限于上述实施例等，并且可以做出各种变型。此外，本说明书中描述的效果仅仅是说明性的或示例性的。本公开的效果并不限于本说明书中描述的效果。除了本说明书中描述的效果之外，本公开可以具有任何效果。
此外，例如，本公开还可以采用以下配置。
(1)一种视频传输设备，包括：
检测部，被配置为基于关于捕捉图像中的关注区域的多条位置信息，检测重叠区域，其中，两个或多个关注区域彼此重叠；
生成部，被配置为生成包括多条位置信息和多个第三图像的传输数据，其中，从多个第一图像中忽略第二图像，使得重叠区域中的第二图像不冗余地包括在关注区域中的多个第一图像中；以及
传输部，被配置为输出传输数据。
(2)根据以上(1)所述的视频传输设备，其中，所述生成部生成能够辨别是否对多个第一图像中的任何一个执行第二图像的忽略的辨别信息，并且在传输数据中包括辨别信息。
(3)根据以上(2)所述的视频传输设备，其中，所述生成部给每个关注区域提供标识符，并将所述标识符用作辨别信息，从而确定是否对多个第一图像中的任何一个执行第二图像的忽略。
(4)根据以上(1)至(3)中任一项所述的视频传输设备，其中，所述位置信息包括每个关注区域中的预定位置的坐标和关于每个关注区域的尺寸的信息。
(5)根据以上(1)至(4)中任一项所述的视频传输设备，其中，所述生成部生成多条位置信息和多个第三图像彼此相关联的帧，并且同时生成包括该帧的传输数据。
(6)根据以上(5)所述的视频传输设备，其中，所述生成部针对第三图像的每个像素行或者针对第三图像的每个预定区域，在帧中分离和排列每个第三图像。
(7)根据以上(1)至(6)中任一项所述的视频传输设备，其中，所述生成部将多条位置信息和多个第三图像分成多个组，针对每个组生成一条或多条位置信息和一个或多个第三图像彼此相关联的帧，并且针对每个帧，生成传输数据。
(8)根据以上(7)所述的视频传输设备，其中，所述生成部基于作为关于传输数据的传输目的地的信息的传输目的地信息，执行多条位置信息和多个第三图像的分组。
(9)一种视频接收设备，包括：
接收部，被配置为接收包括多个第三图像和多条位置信息的传输数据；以及
图像处理部，被配置为基于所接收的多个第三图像中的一个或多个第三图像以及从所接收的多条位置信息中的多条位置信息中获得的关于重叠区域的一条或多条位置信息，在重叠区域中生成一个或多个第二图像，并且基于所接收的多个第三图像和一个或多个第二图像，在捕捉图像中的关注区域中生成多个第一图像。
(10)根据以上(9)所述的视频接收设备，其中，
所述传输数据包括能够辨别是否对包含在传输数据中的多个第三图像中的任何一个执行第二图像的忽略的辨别信息，并且
所述图像处理部通过使用鉴别信息确定第二图像是否添加到包括在传输数据中的多个第三图像中的任何一个。
(11)根据以上(9)或(10)所述的视频接收设备，其中，由接收部接收的多条位置信息对应于捕捉图像中关于第一图像的多条位置信息。
(12)根据以上(9)至(11)中任一项所述的视频接收设备，其中，
所述图像处理部包括多个图像处理IC，并且
所述图像接收设备还包括：
分配控制部，其被配置为从多个图像处理IC中确定每个第三图像的处理部分；以及
分配信息传输部，其被配置为将由所述分配控制部确定的关于每个第三图像的处理部分的分配信息传输到传输数据的传输源。
(13)一种图像传输设备，包括：
检测电路，被配置为基于定义捕捉图像中的两个或多个关注区域的多条位置信息来检测捕捉图像中由两个或多个关注区域共享的重叠区域；
生成电路，被配置为
基于来自所述多条位置信息的第一条位置信息生成第一图像，所述第一图像包括重叠区域，并且所述第一图像对应于所述两个或多个关注区域中的第一关注区域，
基于重叠区域和多条位置信息生成一个或多个第二图像，所述一个或多个第二图像不包括重叠区域，并且所述一个或多个第二图像对应于所述两个或多个关注区域中除第一关注区域之外的关注区域，并且
生成包括第一图像、一个或多个第二图像和多条位置信息的传输数据；以及
传输电路，被配置为输出传输数据。
(14)根据(13)所述的图像传输设备，其中，
为了检测重叠区域，所述检测电路被配置为
从捕捉的图像中提取对应于所述两个或多个关注区域的两个或多个子图像，
从提取的两个或多个子图像中确定多条位置信息，并且
通过从多条位置信息中导出重叠区域来检测重叠区域。
(15)根据(13)或(14)中任一项所述的图像传输设备，其中，
所述生成电路还被配置为生成表示从一个或多个第二图像的每一个中排除重叠区域的排除信息，并且其中，所述传输数据还包括排除信息。
(16)根据(15)所述的图像传输设备，其中，
为了生成排除信息，所述生成电路还被配置为将标识符分配给第一图像和所述一个或多个第二图像中的每一个，并且
其中，分配给所述一个或多个第二图像中的每一个的标识符表示从一个或多个第二图像中排除重叠区域。
(17)根据(13)至(16)中任一项所述的图像传输设备，其中，
与两个或多个关注区域中的每一个相关联的位置信息包括预定位置的坐标和尺寸信息。
(18)根据(13)至(17)中任一项所述的图像传输设备，其中，
所述生成电路还被配置为生成包括第一图像和与多条位置信息中相应的一条相关联的一个或多个第二图像的帧，并且其中，所述传输数据包括帧。
(19)根据(18)所述的图像传输设备，其中，
所述生成电路还被配置为在帧中为一个或多个第二图像的每个像素行或一个或多个第二图像的每个预定区域分离和排列一个或多个第二图像中的每个第二图像，所述每个预定区域基于多条位置信息中相应的一条。
(20)根据(13)至(19)中任一项所述的图像传输设备，其中，
所述生成电路还被配置为
将多条位置信息和一个或多个第二图像分成多个组，
生成多个帧，所述多个帧中的每一个与多个组中的一个相关联，所述多个帧中的每一个包括与一个或多个第二图像中的至少一个相关联的多条位置信息中的至少一条，并且
为多个帧中的每一个生成传输数据。
(21)根据(13)至(20)中任一项所述的图像传输设备，其中，
所述生成电路还被配置为基于传输数据的传输目的地将多条位置信息和一个或多个第二图像分组。
(22)根据(13)至(21)中任一项所述的图像传输设备，其中，
所述生成电路还被配置为
基于重叠区域和多条位置信息生成一个或多个第三图像，所述一个或多个第三图像不包括重叠区域的第一部分并且包括重叠区域的第二部分，并且所述一个或多个第三图像对应于两个或多个关注区域中除第一关注区域之外的关注区域，并且
生成包括第一图像、一个或多个第二图像、一个或多个第三图像以及多条位置信息的传输数据。
(23)一种图像接收设备，包括：
接收电路，被配置为接收包括第一图像、一个或多个第二图像和多条位置信息的传输数据；以及
图像处理电路，被配置为生成与捕捉图像中的两个或多个关注区域相关联的多个第三图像，所述多个第三图像基于所述第一图像、所述一个或多个第二图像和所述多条位置信息。
(24)根据(23)所述的图像接收设备，其中，
所述传输数据还包括排除信息，并且
所述图像处理电路基于排除信息从彼此以及从第一图像识别一个或多个第二图像。
(25)根据(23)或(24)所述的图像接收设备，其中，
由接收电路接收的多条位置信息对应于与捕捉图像中的多个第三图像相关联的多条位置信息。
(26)根据(23)至(25)中任一项所述的图像接收设备，还包括：
分配控制电路；以及
分配信息传输电路，
其中，所述图像处理电路包括多个图像处理集成电路，
其中，所述分配控制电路被配置为从所述多个图像处理集成电路中确定所述一个或多个第二图像中的每一个的处理部分，并且
其中，所述分配信息传输电路被配置为将指示由所述分配控制电路确定的所述一个或多个第二图像中的每一个的处理部分的分配信息传输到所述传输数据的传输源。
(27)一种系统，包括：
图像传输设备，包括
检测电路，其被配置为基于定义捕捉图像中的两个或多个关注区域的多条位置信息来检测捕捉图像中由两个或多个关注区域共享的重叠区域；
生成电路，被配置为
基于来自所述多条位置信息的第一条位置信息生成第一图像，所述第一图像包括重叠区域，并且所述第一图像对应于所述两个或多个关注区域中的第一关注区域，
基于重叠区域和多条位置信息生成一个或多个第二图像，所述一个或多个第二图像不包括重叠区域，并且所述一个或多个第二图像对应于所述两个或多个关注区域中除第一关注区域之外的关注区域，并且
生成包括第一图像、一个或多个第二图像和多条位置信息的传输数据；以及
传输电路，其被配置为输出传输数据；以及
图像接收设备，包括
接收电路，其被配置为接收包括第一图像、一个或多个第二图像和多条位置信息的传输数据；以及
图像处理电路，其被配置为生成与捕捉图像中的两个或多个关注区域相关联的多个第三图像，所述多个第三图像基于所述第一图像、所述一个或多个第二图像和所述多条位置信息。
(28)根据(27)所述的系统，其中，
为了检测重叠区域，所述检测电路被配置为
从捕捉的图像中提取对应于所述两个或多个关注区域的两个或多个子图像，
从提取的两个或多个子图像中确定多条位置信息，并且
通过从多条位置信息中导出重叠区域来检测重叠区域。
(29)根据(27)或(28)所述的系统，其中，
所述生成电路还被配置为
基于重叠区域和多条位置信息生成一个或多个第四图像，所述一个或多个第四图像不包括重叠区域的第一部分并且包括重叠区域的第二部分，并且所述一个或多个第四图像对应于两个或多个关注区域中除第一关注区域之外的关注区域，并且
生成包括第一图像、一个或多个第二图像、一个或多个第四图像和多条位置信息的传输数据，并且
所述图像处理电路还被配置为基于第一图像、一个或多个第二图像、一个或多个第四图像和多条位置信息来生成与捕捉图像中的两个或多个关注区域相关联的多个第三图像。
(30)根据(27)至(29)中任一项所述的系统，其中，
所述生成电路还被配置为生成包括与多条位置信息中相应的位置信息相关联的一个或多个第二图像的帧，并且其中，所述传输数据包括帧。
(31)根据(27)至(30)中任一项所述的系统，其中，
传输数据还包括排除信息，并且
所述图像处理电路基于排除信息从彼此以及从第一图像识别一个或多个第二图像。
(32)根据(27)至(31)中任一项所述的系统，其中，所述图像接收设备还包括
分配控制电路；以及
分配信息传输电路，
其中，所述图像处理电路包括多个图像处理集成电路，
其中，所述分配控制电路被配置为从所述多个图像处理集成电路中确定所述一个或多个第二图像中的每一个的处理部分，并且
其中，所述分配信息传输电路被配置为将指示由所述分配控制电路确定的所述一个或多个第二图像中的每一个的处理部分的分配信息传输到所述图像传输设备。
附图标记列表
1视频传输系统
100视频传输设备
110成像部
111捕捉图
112、112a1、112a2、112a4、112a5、112a6、119、119a1、119a2、119a4，119a5、119a6ROI图像
113、114位置信息
115优先级
116、116a1、116a2、116a4、116a5、116a6传输图像
117、117A、117B帧
118、118b1、118b2图像
120图像处理部
120A传输数据
121ROI切除部
122ROI分析部
123重叠检测部
124优先级设置部
125、125A、125B编码部
126分配部
130、130A、130B传输部
200、200A、200B、200C视频接收设备
210、210A、210B、210C接收部
220、220A、220B、220C、220D图像处理部
221解码部
222信息提取部
223ROI图像生成部
230A、230B、230C分配信息传输部
240分配控制部
300、300A、300B传输路径
R1头部区域
R2分组区域
R3脚部区域
ROI、ROI 1、ROI 2、ROI 4、ROI 5、ROI 6、ROI 7、ROI 8关注区域
ROO、ROO 1、ROO 2、ROO 3重叠区域。

Claims (20)

1.一种图像传输设备，包括：
检测电路，被配置为基于定义捕捉图像中的两个或多个关注区域的多条位置信息，来检测所述捕捉图像中由所述两个或多个关注区域共享的重叠区域；
生成电路，被配置为
基于来自所述多条位置信息的第一条位置信息来生成第一图像，所述第一图像包括所述重叠区域，并且所述第一图像对应于所述两个或多个关注区域中的第一关注区域，
基于所述重叠区域和所述多条位置信息来生成一个或多个第二图像，所述一个或多个第二图像不包括所述重叠区域，并且所述一个或多个第二图像对应于所述两个或多个关注区域中除所述第一关注区域之外的关注区域，并且
生成包括所述第一图像、所述一个或多个第二图像以及所述多条位置信息的传输数据；以及
传输电路，被配置为输出所述传输数据。
2.根据权利要求1所述的图像传输设备，其中，
为了检测所述重叠区域，所述检测电路被配置为
从所述捕捉图像中提取对应于所述两个或多个关注区域的两个或多个子图像，
从提取的所述两个或多个子图像中确定所述多条位置信息，并且
通过从所述多条位置信息中导出所述重叠区域来检测所述重叠区域。
3.根据权利要求1所述的图像传输设备，其中，
所述生成电路还被配置为生成表示从每个所述一个或多个第二图像中排除所述重叠区域的排除信息，并且其中，所述传输数据还包括所述排除信息。
4.根据权利要求3所述的图像传输设备，其中，
为了生成所述排除信息，所述生成电路还被配置为将标识符分配给所述第一图像和所述一个或多个第二图像中的每一个，并且
其中，分配给所述一个或多个第二图像中的每一个的标识符表示从所述一个或多个第二图像中排除所述重叠区域。
5.根据权利要求1所述的图像传输设备，其中，
与所述两个或多个关注区域中的每一个相关联的位置信息包括预定位置的坐标和尺寸信息。
6.根据权利要求1所述的图像传输设备，其中，
所述生成电路还被配置为生成包括与所述多条位置信息中相应的一条位置信息相关联的所述第一图像和所述一个或多个第二图像的帧，并且其中，所述传输数据包括帧。
7.根据权利要求6所述的图像传输设备，其中，
所述生成电路还被配置为：在帧中为所述一个或多个第二图像的每个像素行或者所述一个或多个第二图像的每个预定区域分离和排列所述一个或多个第二图像中的每个第二图像，所述每个预定区域基于所述多条位置信息中相应的一条位置信息。
8.根据权利要求1所述的图像传输设备，其中，
所述生成电路还被配置为
将所述多条位置信息和所述一个或多个第二图像分成多个组，
生成多个帧，所述多个帧中的每一个帧与所述多个组中的一个组相关联，所述多个帧中的每一个帧包括所述多条位置信息中的与所述一个或多个第二图像中的至少一个第二图像相关联的至少一条信息，并且
生成所述多个帧中的每一个帧的传输数据。
9.根据权利要求8所述的图像传输设备，其中，
所述生成电路还被配置为基于传输数据的传输目的地将所述多条位置信息和所述一个或多个第二图像进行分组。
10.根据权利要求1所述的图像传输设备，其中，
所述生成电路还被配置为
基于所述重叠区域和所述多条位置信息生成一个或多个第三图像，所述一个或多个第三图像不包括所述重叠区域的第一部分并且包括所述重叠区域的第二部分，并且所述一个或多个第三图像对应于所述两个或多个关注区域中除第一关注区域之外的关注区域，并且
生成包括所述第一图像、所述一个或多个第二图像、所述一个或多个第三图像以及多条位置信息的传输数据。
11.一种图像接收设备，包括：
接收电路，被配置为接收包括第一图像、一个或多个第二图像以及多条位置信息的传输数据；以及
图像处理电路，被配置为生成与捕捉图像中的两个或多个关注区域相关联的多个第三图像，所述多个第三图像基于所述第一图像、所述一个或多个第二图像以及所述多条位置信息。
12.根据权利要求11所述的图像接收设备，其中，
所述传输数据还包括排除信息，并且
所述图像处理电路基于排除信息从第二图像彼此之间以及从所述第一图像识别所述一个或多个第二图像。
13.根据权利要求11所述的图像接收设备，其中，
由所述接收电路接收的所述多条位置信息对应于与所述捕捉图像中的所述多个第三图像相关联的多条位置信息。
14.根据权利要求11所述的图像接收设备，还包括：
分配控制电路；以及
分配信息传输电路，
其中，所述图像处理电路包括多个图像处理集成电路，
其中，所述分配控制电路被配置为：从所述多个图像处理集成电路中确定所述一个或多个第二图像中的每一个的处理部分，并且
其中，所述分配信息传输电路被配置为：将指示由所述分配控制电路确定的所述一个或多个第二图像中的每一个的处理部分的分配信息传输到所述传输数据的传输源。
15.一种系统，包括：
图像传输设备，包括
检测电路，被配置为基于定义捕捉图像中的两个或多个关注区域的多条位置信息，来检测所述捕捉图像中由所述两个或多个关注区域共享的重叠区域；
生成电路，被配置为
基于来自所述多条位置信息的第一条位置信息来生成第一图像，所述第一图像包括所述重叠区域，并且所述第一图像对应于所述两个或多个关注区域中的第一关注区域，
基于所述重叠区域和所述多条位置信息来生成一个或多个第二图像，所述一个或多个第二图像不包括所述重叠区域，并且所述一个或多个第二图像对应于所述两个或多个关注区域中除第一关注区域之外的关注区域，并且
生成包括第一图像、所述一个或多个第二图像以及所述多条位置信息的传输数据；以及
传输电路，被配置为输出所述传输数据；以及
图像接收设备，包括
接收电路，被配置为接收包括所述第一图像、所述一个或多个第二图像以及所述多条位置信息的传输数据；以及
图像处理电路，被配置为生成与捕捉图像中的两个或多个关注区域相关联的多个第三图像，所述多个第三图像基于所述第一图像、所述一个或多个第二图像以及所述多条位置信息。
16.根据权利要求15所述的系统，其中，
为了检测所述重叠区域，所述检测电路被配置为
从所述捕捉图像中提取对应于所述两个或多个关注区域的两个或多个子图像，
从提取的所述两个或多个子图像中确定所述多条位置信息，并且
通过从所述多条位置信息中导出所述重叠区域来检测所述重叠区域。
17.根据权利要求15所述的系统，其中，
所述生成电路还被配置为
基于所述重叠区域和所述多条位置信息生成一个或多个第四图像，所述一个或多个第四图像不包括重叠区域的第一部分并且包括重叠区域的第二部分，并且所述一个或多个第四图像对应于所述两个或多个关注区域中除所述第一关注区域之外的关注区域，并且
生成包括所述第一图像、所述一个或多个第二图像、所述一个或多个第四图像以及所述多条位置信息的传输数据，并且
所述图像处理电路还被配置为：基于所述第一图像、所述一个或多个第二图像、所述一个或多个第四图像以及所述多条位置信息来生成与所述捕捉图像中的所述两个或多个关注区域相关联的多个第三图像。
18.根据权利要求15所述的系统，其中，
所述生成电路还被配置为：生成包括与所述多条位置信息中相应的一条位置信息相关联的所述一个或多个第二图像的帧，并且其中，所述传输数据包括所述帧。
19.根据权利要求15所述的系统，其中，
所述传输数据还包括排除信息，并且
所述图像处理电路基于所述排除信息从第二图像彼此之间以及从所述第一图像识别所述一个或多个第二图像。
20.根据权利要求15所述的系统，其中，所述图像接收设备还包括
分配控制电路；以及
分配信息传输电路，
其中，所述图像处理电路包括多个图像处理集成电路，
其中，所述分配控制电路被配置为：从所述多个图像处理集成电路中确定所述一个或多个第二图像中的每一个的处理部分，并且
其中，所述分配信息传输电路被配置为：将指示由所述分配控制电路确定的所述一个或多个第二图像中的每一个的处理部分的分配信息传输到所述图像传输设备。
CN201880011920.XA 2017-02-21 2018-02-13 视频传输设备和视频接收设备 Active CN110301137B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-029809 2017-02-21
JP2017029809A JP6936018B2 (ja) 2017-02-21 2017-02-21 映像送信装置および映像受信装置
PCT/JP2018/004918 WO2018155258A1 (en) 2017-02-21 2018-02-13 Video transmission apparatus and video reception apparatus

Publications (2)

Publication Number Publication Date
CN110301137A true CN110301137A (zh) 2019-10-01
CN110301137B CN110301137B (zh) 2022-11-15

Family

ID=61563449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880011920.XA Active CN110301137B (zh) 2017-02-21 2018-02-13 视频传输设备和视频接收设备

Country Status (7)

Country Link
US (2) US11323617B2 (zh)
EP (1) EP3586516A1 (zh)
JP (1) JP6936018B2 (zh)
KR (1) KR102593633B1 (zh)
CN (1) CN110301137B (zh)
TW (1) TWI812609B (zh)
WO (1) WO2018155258A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115004715A (zh) * 2020-02-14 2022-09-02 欧姆龙株式会社 图像处理装置、图像传感器、图像处理装置的控制方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112019025471A2 (pt) * 2017-06-09 2020-06-23 Sony Semiconductor Solutions Corporation Dispositivo de transmissão de figura, e, dispositivo de recepção de figura
JP7414733B2 (ja) 2018-12-06 2024-01-16 ソニーセミコンダクタソリューションズ株式会社 受信装置および送信装置
WO2020261815A1 (ja) * 2019-06-28 2020-12-30 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置及び伝送システム
US20220279110A1 (en) * 2019-08-30 2022-09-01 Sony Group Corporation Imaging device, processing device, data transmission system, and data transmission method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060062480A1 (en) * 2004-09-21 2006-03-23 Sanyo Electric Co., Ltd. Image processing apparatus
WO2006112620A1 (en) * 2005-03-25 2006-10-26 Electronics And Telecommunications Research Institute Hierarchical video encoding/decoding method for complete spatial scalability and apparatus thereof
CN101313578A (zh) * 2005-09-26 2008-11-26 韩国电子通信研究院 用于在可伸缩视频编码中定义和重构感兴趣区域的方法和装置
CN102566918A (zh) * 2010-12-20 2012-07-11 佳能株式会社 显示控制设备和显示控制设备的控制方法
CN103581544A (zh) * 2012-07-20 2014-02-12 捷讯研究有限公司 动态感兴趣区域调整和提供动态感兴趣区域调整的图像捕捉设备
US20140270487A1 (en) * 2013-03-12 2014-09-18 Samsung Techwin Co., Ltd. Method and apparatus for processing image
CN105122345A (zh) * 2013-05-31 2015-12-02 三菱电机株式会社 图像处理装置、图像处理系统和图像处理方法
CN105979216A (zh) * 2016-06-12 2016-09-28 浙江宇视科技有限公司 一种感兴趣区域的视频传输方法及装置
CN106233745A (zh) * 2013-07-29 2016-12-14 皇家Kpn公司 向客户端提供瓦片视频流

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3821267B2 (ja) * 1999-01-18 2006-09-13 富士通株式会社 文書画像結合装置、文書画像結合方法及び文書画像結合プログラムを記録した記録媒体
KR101255226B1 (ko) * 2005-09-26 2013-04-16 한국과학기술원 스케일러블 비디오 코딩에서 다중 ｒｏｉ 설정, 복원을위한 장치 및 방법
US8077977B2 (en) * 2006-08-15 2011-12-13 Fuji Xerox Co., Ltd. Image processing system, image processing method, computer readable medium and computer data signal
KR100800653B1 (ko) * 2006-12-01 2008-02-01 삼성전자주식회사 3차원 입체 영상을 압축하기 위한 장치 및 방법
JP5410663B2 (ja) 2007-08-27 2014-02-05 東洋機械金属株式会社 射出成形機
JP4623196B2 (ja) * 2008-10-08 2011-02-02 富士ゼロックス株式会社 画像処理装置、画像処理システム、及びプログラム
JP2011146833A (ja) * 2010-01-13 2011-07-28 Seiko Epson Corp 光学読取装置、光学読取装置の制御方法、及び、プログラム
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP5700703B2 (ja) 2012-08-20 2015-04-15 日本電信電話株式会社 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
JP2014135013A (ja) * 2013-01-11 2014-07-24 Fujitsu Ltd 画像転送方法、サーバ機器及びプログラム
WO2016040566A1 (en) * 2014-09-12 2016-03-17 Seek Thermal, Inc. Selective color display of a thermal image
JP6604019B2 (ja) 2015-04-14 2019-11-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060062480A1 (en) * 2004-09-21 2006-03-23 Sanyo Electric Co., Ltd. Image processing apparatus
WO2006112620A1 (en) * 2005-03-25 2006-10-26 Electronics And Telecommunications Research Institute Hierarchical video encoding/decoding method for complete spatial scalability and apparatus thereof
CN101313578A (zh) * 2005-09-26 2008-11-26 韩国电子通信研究院 用于在可伸缩视频编码中定义和重构感兴趣区域的方法和装置
CN102566918A (zh) * 2010-12-20 2012-07-11 佳能株式会社 显示控制设备和显示控制设备的控制方法
CN103581544A (zh) * 2012-07-20 2014-02-12 捷讯研究有限公司 动态感兴趣区域调整和提供动态感兴趣区域调整的图像捕捉设备
US20140270487A1 (en) * 2013-03-12 2014-09-18 Samsung Techwin Co., Ltd. Method and apparatus for processing image
CN105122345A (zh) * 2013-05-31 2015-12-02 三菱电机株式会社 图像处理装置、图像处理系统和图像处理方法
CN106233745A (zh) * 2013-07-29 2016-12-14 皇家Kpn公司 向客户端提供瓦片视频流
CN105979216A (zh) * 2016-06-12 2016-09-28 浙江宇视科技有限公司 一种感兴趣区域的视频传输方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孔超: "基于兴趣区域的图像检索方法研究", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115004715A (zh) * 2020-02-14 2022-09-02 欧姆龙株式会社 图像处理装置、图像传感器、图像处理装置的控制方法

Also Published As

Publication number Publication date
TW201838396A (zh) 2018-10-16
JP2018137567A (ja) 2018-08-30
EP3586516A1 (en) 2020-01-01
US11323617B2 (en) 2022-05-03
US20220247925A1 (en) 2022-08-04
WO2018155258A1 (en) 2018-08-30
KR102593633B1 (ko) 2023-10-25
US20200053281A1 (en) 2020-02-13
TWI812609B (zh) 2023-08-21
JP6936018B2 (ja) 2021-09-15
CN110301137B (zh) 2022-11-15
KR20190117498A (ko) 2019-10-16

Similar Documents

Publication Publication Date Title
CN110301137A (zh) 视频传输设备和视频接收设备
US10699473B2 (en) System and method for generating a virtual viewpoint apparatus
US10579904B2 (en) Keypoint unwarping for machine vision applications
US20180332210A1 (en) Video system, video processing method, program, camera system, and video converter
CN110009712B (zh) 一种图文排版方法及其相关装置
CN109509146A (zh) 图像拼接方法及装置、存储介质
US20190268536A1 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
JP6779688B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
CN113905219B (zh) 图像处理设备和方法、图像处理系统、控制方法和介质
KR20190096748A (ko) 외부 전자 장치를 이용한 이미지 보정 방법 및 전자 장치
CN114860182A (zh) 显示信息的处理方法及装置、存储介质、电子设备
CN109040729B (zh) 图像白平衡校正方法、装置、存储介质及终端
US11765299B2 (en) Information processing apparatus and method
US11264416B2 (en) Image processing apparatus and image processing method
KR20110136026A (ko) 증강현실 데이터 최적화 시스템
KR20190110308A (ko) Isp 업데이트를 알리는 전자 장치 및 그 동작 방법
CN107995524A (zh) 一种连接网络视频服务器的客户端系统及其设计、数据处理方法
CN113191376A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN113486693A (zh) 一种视频处理的方法及设备
JP2017200098A (ja) 動き監視装置
CN104602101B (zh) 电视系统
KR102316969B1 (ko) 카메라를 이용하여 촬상한 이미지에 포함된 텍스트의 인식이 가능한 전자장치 및 그 제어방법
US20220408021A1 (en) Information processing device and method, imaging apparatus and method, program, and interchangeable lens
KR102539827B1 (ko) 3d ar 객체 영상 실시간 획득 시스템 및 이의 운용 방법
JP5988725B2 (ja) 撮像装置及び現像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant