CN115299038A - 发送装置、接收装置以及传输系统 - Google Patents

发送装置、接收装置以及传输系统 Download PDF

Info

Publication number
CN115299038A
CN115299038A CN202180023089.1A CN202180023089A CN115299038A CN 115299038 A CN115299038 A CN 115299038A CN 202180023089 A CN202180023089 A CN 202180023089A CN 115299038 A CN115299038 A CN 115299038A
Authority
CN
China
Prior art keywords
roi
region
image
interest
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180023089.1A
Other languages
English (en)
Inventor
佐藤弘和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN115299038A publication Critical patent/CN115299038A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Geometry (AREA)

Abstract

本发明的目的是实现从捕获图像中切割出的一些感兴趣区域(ROI)的阴影校正处理。一种发送装置包括:处理单元,基于捕获图像中的感兴趣区域(ROI)的坐标信息对ROI的图像数据执行阴影校正处理;以及发送单元,将受到阴影校正处理的ROI的图像数据作为有效载荷数据发送并且将ROI信息作为嵌入数据发送。

Description

发送装置、接收装置以及传输系统
技术领域
本公开涉及发送装置、接收装置以及传输系统。
背景技术
近年来,海量数据的发送正在增加。大负载可能施加于传输系统,并且在最坏情况下,存在传输系统故障而不能执行数据传输的可能性。
已知指定要成像的对象,并且仅传输指定对象的切割部分的图像,而不是例如传输所有捕获的图像,以便防止传输系统下降(例如,专利文献1至4)。
引用列表
专利文献
专利文献1:日本专利申请公开号2016-201756
专利文献2:日本专利申请公开号2014-39219
专利文献3:日本专利申请公开号2013-164834
专利文献4:日本专利申请公开号2012-209831
发明内容
本发明要解决的问题
完全没有研究在传输从捕获图像切割的一些感兴趣区域(ROI)的情况下的阴影校正处理。
本公开的目的是对从捕获图像中切割的一些感兴趣区域(ROI)实施阴影校正处理。
问题的解决方案
根据本公开的一方面的发送装置包括:处理单元,基于捕获图像中的感兴趣区域(ROI)的坐标信息对ROI的图像数据执行阴影校正处理;以及发送单元,将受到阴影校正处理的ROI的图像数据作为有效载荷数据发送并且将ROI信息作为嵌入数据发送。
根据本公开的一方面的接收装置包括:接收单元,接收传输信号,在所述传输信号中,从预定的捕获图像切割的感兴趣区域(ROI)的图像分组括在有效载荷数据中并且与ROI对应的ROI信息包括在嵌入数据中;以及处理单元,基于从ROI信息提取的ROI的坐标信息对ROI的图像数据执行阴影校正处理。
根据本公开的一方面的传输系统包括:发送装置,包括:处理单元,基于捕获图像中的感兴趣区域(ROI)的坐标信息对ROI的图像数据执行阴影校正处理;以及发送单元,将受到阴影校正处理的ROI的图像数据作为有效载荷数据发送并且将ROI信息作为嵌入数据发送;以及接收装置,包括接收单元,接收单元接收传输信号,在所述传输信号中,包含在ROI中的图像的图像分组含在有效载荷数据中并且ROI信息包含在嵌入数据中。
此外,根据本公开的另一方面的传输系统包括:发送装置,发送装置将感兴趣区域(ROI)的图像数据作为有效载荷数据发送并且将ROI信息作为嵌入数据发送;以及接收装置,包括:接收单元,接收传输信号,在所述传输信号中,从预定的捕获图像中切割的感兴趣区域(ROI)的图像分组括在有效载荷数据中并且与ROI相对应的ROI信息包括在嵌入数据中;以及处理单元,基于从ROI信息中提取的ROI的坐标信息对ROI的图像数据执行阴影校正处理。
附图说明
图1为示出视频传输系统的示意性配置实例的示图。
图2是示出了图1的视频发送装置的示意性配置实例的示图。
图3是示出在捕获图像中包括两个感兴趣区域(ROI)的情况下的传输数据生成过程的实例的示图。
图4是示出分组报头的配置实例的示图。
图5是示出传输数据的配置实例的示图。
图6是示出了传输数据的配置实例的示图。
图7是示出了长分组的有效载荷数据的配置实例的示图。
图8是示出图1的视频接收装置的示意性配置实例的示图。
图9是示出在传输数据中包括两个图像的情况下生成包括在所捕获的图像中的两个ROI图像的过程的实例的示图。
图10是示意性示出指定对象布置在捕获图像中的区域的示图。
图11是示出为指定对象设置的ROI的实例的示图。
图12是示出了传输数据配置实例的示图,其中,每个ROI图像的位置信息包括在长分组的有效载荷数据中。
图13是示意性示出包含在受到阴影校正的捕获图像中的感兴趣区域的实例的示图。
图14是示出用于阴影校正处理的校正值表的实例的示图。
图15示意性地示出了本公开中的阴影校正处理的示图。
图16是示出根据第一实施方式的视频发送装置、视频接收装置和视频传输系统的示意性配置的框图。
图17是示出生成用于本公开的阴影校正处理的感兴趣区域的坐标信息的坐标信息生成处理的流程的实例的流程图。
图18是示出在根据第一实施方式的视频发送装置、视频接收装置以及视频传输系统中的阴影校正处理的流程的实例的流程图。
图19是示出根据第二实施方式的视频发送装置、视频接收装置和视频传输系统的示意性配置的框图。
图20是示出根据第二实施方式的视频发送装置、视频接收装置和视频传输系统中的阴影校正处理的流程的实例的流程图。
具体实施方式
在下文中,将参考附图详细描述用于实施本公开的模式。以下描述是本公开的特定实例,并且本公开不限于以下方面。
在下文中,将按照以下顺序描述用于执行根据本公开的技术的模式(在下文中,称为“实施方式”)。
1.本公开的基础技术1(用于传输从捕获图像切割的一些感兴趣区域(ROI)(具有矩形形状)的技术)
2.本公开的基础技术2(用于传输从捕获图像切割的一些感兴趣区域(ROI)(具有非矩形形状)的技术)
3.本公开实施方式中的阴影校正处理原理
4.根据本公开内容的第一实施方式的视频发送装置、视频接收装置和视频传输系统
5.根据本公开内容的第二实施方式的视频发送装置、视频接收装置和视频传输系统
1.本公开的基础技术1:
[配置]
近年来,在诸如智能电话、相机装置等的便携式装置中,所处理的图像数据的容量已经增加,并且对于装置中或不同装置之间的数据传输,存在更高速度和更低功耗的需求。为了满足这样的要求,诸如由MIPI联盟设置的C-PHY标准和D-PHY标准的高速接口标准被标准化为用于便携式装置和相机装置的连接接口。C-PHY标准和D-PHY标准是通信协议的物理层(PHY)的接口标准。此外,作为C-PHY标准和D-PHY标准的更高协议层,存在用于显示便携式装置的显示串行接口(DSI)和用于相机装置的相机串行接口(CSI)。
根据本公开的基础技术的视频传输系统1是可根据各种标准发送和接收信号并且可根据例如MIPICSI-2标准、MIPICSI-3标准或MIPIDSI标准发送和接收信号的系统。图1示出了根据本公开的基础技术的视频传输系统1的概要。视频传输系统1应用于数据信号、时钟信号和控制信号的传输,并且包括视频发送装置100和视频接收装置200。视频传输系统1包括用于传输诸如图像数据的数据信号的数据通道DL、用于传输时钟信号的时钟通道CL、以及用于在视频发送装置100和视频接收装置200之间传输控制信号的相机控制接口CCI。尽管图1示出了提供一个数据通道DL的实例,但是可提供多个数据通道DL。相机控制接口CCI是与集成电路间(I2C)标准兼容的双向控制接口。
视频发送装置100是根据MIPICSI-2标准、MIPICSI-3标准或MIPIDSI标准传输信号的装置。设置了CSI发射器100A和CCI从装置100B。视频接收装置200包括CSI接收器200A和CCI主机200B。在时钟通道CL中,时钟信号线连接在CSI发射器100A与CSI接收器200A之间。在数据通道DL中,时钟信号线连接在CSI发射器100A与CSI接收器200A之间。在相机控制接口CCI中,控制信号线连接在CCI从装置100B与CCI主机200B之间。
CSI发射器100A例如是差分信号发送电路,其生成差分时钟信号作为时钟信号并且将该差分时钟信号输出到时钟信号线。CSI发射器100A可以被配置为不仅能够发送差分时钟信号,还能够发送单端信号或三相信号。CSI发射器100A也是差分信号发送电路,其生成差分数据信号作为数据信号,并将差分数据信号输出到数据信号线。CSI接收器200A是经由时钟信号线接收差分时钟信号作为时钟信号并且对所接收的差分时钟信号执行预定处理的差分信号接收电路。CSI接收器200A也是经由数据信号线接收作为数据信号的差分数据信号并且对所接收的差分数据信号执行预定处理的差分信号接收电路。
(视频发送装置100)
图2示出了视频发送装置100的配置的实例。视频发送装置100对应于CSI发射器100A的特定实例。例如,视频发送装置100包括成像单元110、图像处理单元120和130和发送单元140。视频发送装置100经由数据通道DL将通过对由成像单元110获得的捕获图像111执行预定处理而生成的传输数据147A发送至视频接收装置200。图3示出了生成传输数据147A的过程的一个实例。
成像单元110例如将通过光学透镜等获得的光学图像信号转换成图像数据。成像单元110包括例如图像传感器,诸如电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器等。成像单元110包括模拟-数字转换电路,并且将模拟图像数据转换成数字图像数据。转换后的数据格式可以是其中每个像素的颜色由亮度分量Y和色度分量Cb和Cr表示的YCbCr格式、RGB格式等。成像单元110将通过成像获得的捕获图像111(数字图像数据)输出至图像处理单元120。
图像处理单元120是对从成像单元110输入的捕获图像111执行预定处理的电路。在基础技术1中,将描述在用于指示ROI的切割的控制信号经由照相机控制接口CCI从视频接收装置200输入的情况下,图像处理单元120对从成像单元110输入的捕获图像111执行预定处理的情况。然而,基础技术1也可应用于视频发送装置100(即,发送侧)指定要被切割的ROI的坐标的情况。在这种情况下,例如,发送侧被配置为接收诸如从接收侧发送的ROI中的待获取的“人”或“对象”的信息,并且确定并指定切割的坐标。结果,图像处理单元120产生各种数据(120A、120B和120C),并将各种数据输出到发送单元140。图像处理单元130是对从成像单元110输入的捕获图像111执行预定处理的电路。在经由照相机控制接口CCI从视频接收装置200输入用于指示正常图像的输出的控制信号的情况下,图像处理单元130对从成像单元110输入的捕获图像111执行预定处理。结果,图像处理单元130生成图像数据130A并且将图像数据130A输出至发送单元140。
图像处理单元130包括例如编码单元131。编码单元131对捕获图像111进行编码以生成压缩图像数据130A。例如,图像处理单元130以符合联合图像专家组(JPEG)标准等的压缩格式压缩捕获图像111作为压缩图像数130A的格式。
图像处理单元120包括例如ROI切割单元121、ROI分析单元122、重叠检测单元123、优先级设置单元124、编码单元125和图像处理控制单元126。
ROI切割单元121指定包括在从成像单元110输入的捕获图像111中的要成像的一个或多个对象,并且为每个指定的对象设置感兴趣区域ROI。感兴趣区域ROI是例如包括所指定的对象的正方形形状的区域。ROI切割单元121从捕获图像111切割每个感兴趣区域ROI的图像(例如,图3中的ROI图像112)。ROI切割单元121还将区域编号作为标识符分配给每个设置的感兴趣区域ROI。例如,在捕获图像111中设置了两个感兴趣区域ROI的情况下,ROI切割单元121将区域编号1分配给一个感兴趣区域ROI(例如,图3中的感兴趣区域ROI1),并且将区域编号2分配给另一个感兴趣区域ROI(例如,图3中的感兴趣区域ROI2)。例如,ROI切割单元121将分配的标识符(区域编号)存储在存储单元中。例如,ROI切割单元121将从捕获图像111切割的每个ROI图像112存储在存储单元中。ROI切割单元121还例如将分配给每个感兴趣区域ROI的标识符(区域编号)与ROI图像112相关联地存储在存储单元中。
ROI分析单元122针对每个感兴趣区域ROI导出捕获图像111中的感兴趣区域ROI的位置信息113。位置信息113包括例如感兴趣区域ROI的左上端坐标(Xa,Ya)、感兴趣区域ROI在X轴方向上的长度和感兴趣区域ROI在Y轴方向上的长度。感兴趣区域ROI在X轴方向上的长度例如是感兴趣区域ROI在X轴方向上的物理区域长度XLa。例如,感兴趣区域ROI在Y轴方向上的长度是感兴趣区域ROI在Y轴方向上的物理区域长度YLa。物理区域长度指示感兴趣区域ROI的物理长度(数据长度)。位置信息113可以包括与感兴趣区域ROI的左上端不同的位置的坐标。ROI分析单元122例如将导出出的位置信息113存储在存储单元中。例如,ROI分析单元122将位置信息113与分配给感兴趣区域ROI的标识符(区域编号)相关联地存储在存储单元中。
例如,ROI分析单元122可以进一步导出X轴方向上的感兴趣区域ROI的输出区域长度XLc和Y轴方向上的感兴趣区域ROI的输出区域长度YLc作为用于每个感兴趣区域ROI的位置信息113。例如,输出区域长度是在通过稀疏化处理、像素相加等改变感兴趣区域ROI的分辨率之后的感兴趣区域ROI的物理长度(数据长度)。例如,除了位置信息113之外,ROI分析单元122还可以针对每个感兴趣区域ROI导出例如感测信息、曝光信息、增益信息、模数(AD)字长、图像格式等,并且将导出的信息存储在存储单元中。
感测信息指的是包括在感兴趣区域ROI中的对象的计算内容、用于ROI图像112的后级信号处理的补充信息等。曝光信息是指感兴趣区域ROI的曝光时间。增益信息是指感兴趣区域ROI的增益信息。AD字长是指在感兴趣区域ROI中受到AD转换的每个像素的数据的字长。图像格式是指感兴趣区域ROI的图像的格式。例如,ROI分析单元122可以得出包括在所捕获的图像111中的感兴趣区域ROI的数目(ROI的数目)并且将该数目存储在存储单元中。
在捕获图像111中指定多个待成像物体的情况下,重叠检测单元123基于捕获图像111中的多个感兴趣区域ROI的位置信息113检测两个或更多感兴趣区域ROI彼此重叠的重叠区域(ROO)。即,重叠检测单元123针对每个重叠ROO区域导出捕获图像111中的重叠ROO区域的位置信息114。例如,重叠检测单元123将所导出的位置信息114存储在存储单元中。例如,重叠检测单元123将所导出的位置信息114与重叠区域ROO相关联地存储在存储单元中。重叠区域ROO例如是大小与彼此重叠的两个以上感兴趣区域ROI中的最小感兴趣区域ROI相同或更小的正方形区域。位置信息114例如包括重叠区域ROO的左上端坐标(Xb,Yb)、重叠区域ROO在X轴方向上的长度和重叠区域ROO在Y轴方向上的长度。例如,重叠区域ROO在X轴方向上的长度是物理区域长度XLb。重叠区域ROO在Y轴方向上的长度是例如物理区域长度YLb。位置信息114可包括不同于感兴趣区域ROI的左上端的位置的坐标。
优先级设置单元124将优先级115分配给捕获图像111中的每个感兴趣区域ROI。优先级设置单元124将例如所分配的优先级115存储在存储单元中。例如,优先级设置单元124将所分配的优先级115与感兴趣区域ROI相关联地存储在存储单元中。优先级设置单元124可以与向每个感兴趣区域ROI分配的区域编号分开地向每个感兴趣区域ROI分配优先级115,或者可以用向每个感兴趣区域ROI分配的区域编号代替优先级115。例如,优先级设置单元124可以将优先级115与感兴趣区域ROI相关联地存储在存储单元中,或者可以将分配给每个感兴趣区域ROI的区域编号与感兴趣区域ROI相关联地存储在存储单元中。
优先级115是每个感兴趣区域ROI的标识符,并且是使得能够确定从捕获图像111中的多个感兴趣区域ROI中的哪一个中省略了重叠区域ROO的确定信息。例如,对于均包括重叠区域ROO的两个感兴趣区域ROI,优先级设置单元124将1作为优先级115分配给一个感兴趣区域ROI,并且将2作为优先级115分配给另一个感兴趣区域ROI。在这种情况下,在创建稍后描述的传输图像116时,从优先级115具有较大值的感兴趣区域ROI中省略重叠区域ROO。注意,优先级设置单元124可以将与分配给每个感兴趣区域ROI的区域编号相同的编号分配给感兴趣区域ROI作为优先级115。例如,优先级设置单元124将分配给每个感兴趣区域ROI的优先级115与ROI图像112相关联地存储在存储单元中。
编码单元125编码每个传输图像116以生成压缩图像数据120A。例如,编码单元125以符合JPEG标准等的压缩格式压缩每个传输图像116作为压缩图像数据120A的格式。编码单元125在执行上述压缩处理之前生成各传输图像116。编码单元125以使图像118不冗余地包括在从捕获图像111中获得的多个ROI图像112中的方式生成通过从捕获图像111中获得的多个ROI图像112中省略重叠区域ROO的图像118而获得的多个传输图像116。
例如,编码单元125基于分配给每个感兴趣区域ROI的优先级115确定从多个ROI图像112中的哪一个中省略图像118。注意,编码单元125可以通过使用例如分配给每个感兴趣区域ROI的区域编号作为优先级115来确定从多个ROI图像112中的哪一个中要省略图像118。编码单元125将通过从如上所述指定的ROI图像112中省略图像118而获得的图像用作传输图像116(例如,图3中的传输图像116a2)。在根据上述确定不包括重叠区域ROO的ROI图像112或者没有从中省略图像118的ROI图像112的情况下,编码单元125使用ROI图像112本身作为传输图像116(例如,图3中的传输图像116a1)。
图像处理控制单元126产生ROI信息120B和帧信息120C,并且将ROI信息120B和帧信息120C发送到发送单元140。ROI信息120B包括例如每条位置信息113。ROI信息120B还包括例如每个感兴趣区域ROI的数据类型、包括在捕获图像111中的感兴趣区域ROI的数目、每个感兴趣区域ROI的区域数目(或优先级115)、每个感兴趣区域ROI的数据长度和每个感兴趣区域ROI的图像格式中的至少一个。例如,帧信息120C包括分配给每个帧的虚拟通道号、每个感兴趣区域ROI的数据类型、每条线的有效载荷长度等。数据类型包括例如YUV数据、RGB数据、RAW数据等。数据类型还包括例如ROI格式数据或正常格式数据。有效载荷长度例如是包括在长分组的有效载荷中的像素的数量,并且例如是每个感兴趣区域ROI的像素的数量。在此,有效载荷指在视频发送装置100与视频接收装置200之间发送的主数据(应用数据)。长分组是指布置在分组报头PH和分组尾PF之间的分组。
发送单元140是基于从图像处理单元120和130输入的各种数据(120A、120B、120C和130A)产生并发送传输数据147A的电路。发送单元140将关于捕获图像111中的每个感兴趣区域ROI的ROI信息120B作为嵌入数据(Embedded Data)发送。此外,在经由照相机控制接口CCI从视频接收装置200输入用于指示ROI的切割的控制信号的情况下,发送单元140将每个感兴趣区域ROI的图像数据(压缩图像数据120A)作为长分组的有效载荷数据(PayloadData)发送。此时,发送单元140通过公共虚拟通道发送每个感兴趣区域ROI的图像数据(压缩图像数据120A)。此外,发送单元140通过图像数据帧发送每个感兴趣区域ROI的图像数据(压缩图像数据120A),并且通过图像数据帧的报头发送关于每个感兴趣区域ROI的ROI信息120B。此外,在经由照相机控制接口CCI从视频接收装置200输入用于指示正常图像的输出的控制信号的情况下,发送单元140将正常图像数据(压缩图像数据130A)作为长分组的有效载荷数据发送。
发送单元140例如包括LINK控制单元141、ECC生成单元142、PH生成单元143、EBD缓存器144、ROI数据缓存器145、正常图像数据缓存器146以及组合单元147。LINK控制单元141、ECC生成单元142、PH生成单元143、EBD缓存器144以及ROI数据缓存器145在经由照相机控制接口CCI从视频接收装置200输入了指示ROI的切割的控制信号的情况下,向组合单元147输出。在从视频接收装置200经由照相机控制接口CCI输入了指示正常图像的输出的控制信号的情况下,正常图像数据缓存器146将正常图像输出到组合单元147。
注意,ROI数据缓冲器145也可以用作正常图像数据缓冲器146。在这种情况下,发送单元140可以包括选择器,该选择器在ROI数据缓冲器145和ROI数据缓冲器145中的每一个的输出端子与组合单元147的输入端子之间选择ROI数据缓冲器145和ROI数据缓冲器145中的任一个的输出。
例如,LINK控制单元141针对各行将帧信息120C输出至ECC生成单元142和PH生成单元143。ECC生成单元142基于例如帧信息120C中的行的数据(例如,虚拟通道号、各个感兴趣区域ROI的数据类型、各个行的有效载荷长度等)生成一个行的纠错码。ECC生成单元142将生成的纠错码输出到例如PH生成单元143。PH生成单元143使用例如帧信息120C和ECC生成单元142生成的纠错码,生成各行的分组报头PH。此时,例如,如图4所示,分组报头PH是长分组的有效载荷数据的分组报头。分组报头PH包括例如DI、WC和ECC。WC是用于通过视频接收装置200的字数指示分组的结束的区域。WC包括例如有效载荷长度,并且包括例如每个感兴趣区域ROI的像素的数量。ECC是用于存储用于校正位错误的值的区域。ECC包括纠错码。DI是用于存储数据标识符的区域。DI包括虚拟通道(VC)号和Data Type(每个感兴趣区域ROI的数据类型)。虚拟通道(VC)是为分组流控制引入的概念,并且是用于支持共享同一链路的多个独立数据流的机制。PH生成单元143将生成的分组报头PH输出至合并单元147。
EBD缓冲器144主要存储ROI信息120B并且在预定定时将ROI信息120B作为嵌入数据输出到组合单元147。嵌入数据指可嵌入在图像数据帧的报头或脚注(footer)中的附加信息(参见稍后描述的图5)。嵌入数据包括例如ROI信息120B。
ROI数据缓冲器145主要存储压缩图像数据120A并且在预定定时将压缩图像数据120A作为长分组的有效载荷数据输出至组合单元147。在经由照相机控制接口CCI从视频接收装置200输入用于指示ROI的切割的控制信号的情况下,ROI数据缓冲器145将压缩图像数据120A作为长分组的有效载荷数据输出至组合单元147。正常图像数据缓冲器146首先存储压缩图像数据130A并且在预定定时将压缩图像数据130A作为长分组的有效载荷数据输出至组合单元147。在经由相机控制接口CCI从视频接收装置200输入用于指示正常图像的输出的控制信号的情况下,正常图像数据缓冲器146将压缩图像数据130A作为长分组的有效载荷数据输出到组合单元147。
在从视频接收装置200经由照相机控制接口CCI输入用于指示正常图像的输出的控制信号的情况下,组合单元147基于输入数据(压缩图像数据130A)生成传输数据147A。组合单元147将生成的传输数据147A经由数据通道DL输出至视频接收装置200。同时,在经由照相机控制接口CCI从视频接收装置200输入用于指示ROI的切割的控制信号的情况下,组合单元147基于各种输入数据(分组报头PH、ROI信息120B和压缩图像数据120A)生成传输数据147A。组合单元147将生成的传输数据147A经由数据通道DL输出至视频接收装置200。即,组合单元147在长分组的有效载荷数据的分组报头PH中包括DataType(各感兴趣区域ROI的数据类型)并发送该分组。此外,组合单元147通过公共虚拟通道发送每个感兴趣区域ROI的图像数据(压缩图像数据120A)。
例如,如图5所示,传输数据147A包括图像数据帧。图像数据帧通常包括报头区域、分组区域和脚注区域。为了方便起见,在图5中省略了脚注区域。传输数据147A的帧报头区域R1包括嵌入数据。此时,嵌入数据包括ROI信息120B。在图5中,传输数据147A的分组区域R2包括每行的长分组的有效载荷数据,并且进一步包括在将长分组的有效载荷数据夹在其间的位置处的分组报头PH和分组脚注PF。此外,低功率模式LP被包括在将分组报头PH和分组脚注PF夹在其间的位置处。
此时,分组报头PH包括例如DI、WC和ECC。WC包括例如有效载荷长度,并且包括例如每个感兴趣区域ROI的像素的数量。ECC包括纠错码。DI包括虚拟通道号(VC)和DataType(每个感兴趣区域ROI的数据类型)。在本实施方式中,为每行的VC分配公共的虚拟通道号。此外,在图5中,压缩图像数据147B包括在传输数据147A的分组区域R2中。压缩图像数据147B包括一条压缩图像数据120A或多条压缩图像数据120A。这里,在图5中,更靠近分组报头PH的分组组包括例如图3中的传输图像116a1的压缩图像数据120A(120A1),而远离分组报头PH的分组组包括例如图3中的传输图像116a2的压缩图像数据120A(120A2)。两个压缩图像数据120A1、120A2构成压缩图像数据147B。每行的长分组的有效载荷数据包括压缩图像数据147B中的一行的像素数据。
图6示出了传输数据147A的配置实例。传输数据147A例如包括帧报头区域R1和分组区域R2。要注意的是,图6详细示出了帧报头区域R1的内容。此外,在图6中,省略了低功率模式LP。
帧报头区域R1包括例如帧号F1作为传输数据147A的标识符。帧报头区域R1包括关于包括在分组区域R2中的压缩图像数据147B的信息。帧报头区域R1包括例如包括在压缩图像数据147B中的多条压缩图像数据120A(ROI的数量)和关于与包括在压缩图像数据147B中的每条压缩图像数据120A相对应的ROI图像112的信息(ROI信息120B)。
例如,组合单元147针对压缩图像数据120A的每个像素行将压缩图像数据147B单独布置在传输数据147A的分组区域R2中。因此,对应于重叠区域ROO的图像118的压缩图像数据没有冗余地包括在传输数据147A的分组区域R2中。此外,例如,组合单元147在传输数据147A的分组区域R2中省略不对应于每个传输图像116的捕获图像111的像素行。因此,传输数据147A的分组区域R2不包括不对应于每个传输图像116的捕获图像111的像素行。应注意,在图6中的分组区域R2中由虚线包围的部分对应于重叠区域ROO的图像118的压缩图像数据。
接近分组报头PH的分组组(例如图6中的1(n))和远离分组报头PH的分组组(例如图6中的2(1))之间的边界由与接近分组报头PH的分组组(例如图6中的1(n))的压缩图像数据相对应的ROI图像112的物理区域长度XLa1指定。在与包含在接近分组报头PH的分组组(例如图6中的1(n))的重叠区域ROO的图像118对应的压缩图像数据中,由与远离分组报头PH的分组组(例如图6中的2(1))对应的ROI图像112的物理区域长度XLa2指定分组的开始位置。
例如,组合单元147可以在传输数据147A的分组区域R2中,除了例如如图7所示在为每行生成长分组的有效载荷数据时的压缩图像数据147B中的一行的像素数据之外,在长分组的有效载荷数据中还包括ROI信息120B。即,组合单元147可以将ROI信息120B包括在长分组的有效载荷数据中,并且发送有效载荷数据。此时,例如,如图7的(A)至图7的(K)中所示,ROI信息120B包括例如每个感兴趣区域ROI的数据类型、包括在捕获图像111中的感兴趣区域ROI的数量(ROI的数量)、每个感兴趣区域ROI的区域数量(或优先级115)、每个感兴趣区域ROI的数据长度和每个感兴趣区域ROI的图像格式中的至少一个。ROI信息120B优选配置在长分组的载荷数据中的分组报头PH侧的端部(即,长分组的载荷数据的头部)。
(视频接收装置200)
接下来,将描述视频接收装置200。图8示出了视频接收装置200的配置的实例。图9示出了用于在视频接收装置200中生成ROI图像223A的过程的实例。视频接收装置200是与视频发送装置100接收根据公共标准(例如,MIPICSI-2标准、MIPICSI-3标准或MIPIDSI标准)的信号的装置。例如,视频接收装置200包括接收单元210和信息处理单元220。接收单元210是经由数据通道DL接收从视频发送装置100输出的传输数据147A、并对接收到的传输数据147A实施预定处理而生成各种数据(214A、215A、215B)并输出到信息处理单元220的电路。信息处理单元220是根据从接收单元210接收到的各种数据(214A、215A)生成ROI图像223A、并且根据从接收单元210接收到的数据(215B)生成正常图像224A的电路。
接收单元210包括例如报头分离单元211、报头解译单元212、有效载荷分离单元213、EBD解译单元214和ROI数据分离单元215。
报头分离单元211经由数据通道DL从视频发送装置100接收传输数据147A。即,报头分离单元211接收传输数据147A,其中,关于捕获图像111中的每个感兴趣区域ROI的ROI信息120B包括在嵌入数据中并且每个感兴趣区域ROI的图像数据(压缩图像数据120A)包括在长分组的有效载荷数据中。报头分离单元211将接收的传输数据147A分离成帧报头区域R1和分组区域R2。报头解译单元212基于包括在帧报头区域R1中的数据(具体地,嵌入数据)指定包括在分组区域R2中的长分组的有效载荷数据的位置。有效载荷分离单元213基于由报头解译单元212指定的长分组的有效载荷数据的位置,将包括在分组区域R2中的长分组的有效载荷数据与分组区域R2分离。
EBD解译单元214将嵌入数据作为EBD数据214A输出到信息处理单元220。EBD解译单元214进一步基于包含在嵌入数据中的数据类型确定包含在长分组的有效载荷数据中的图像数据是ROI的图像数据116的压缩图像数据120A还是正常图像数据的压缩图像数据130A。EBD解译单元214将确定结果输出至ROI数据分离单元215。
在包括在长分组的有效载荷数据中的图像数据是ROI的图像数据116的压缩图像数据120A的情况下,ROI数据分离单元215将长分组的有效载荷数据作为有效载荷数据215A输出至信息处理单元220(具体地,ROI解码单元222)。在包括在有效载荷数据中的图像数据是正常图像数据的压缩图像数据130A的情况下,ROI数据分离单元215将长分组的有效载荷数据作为有效载荷数据215B输出至信息处理单元220(具体地,正常图像解码单元224)。在ROI信息120B被包括在长分组的有效载荷数据中的情况下,有效载荷数据215A包括ROI信息120B和压缩图像数据147B的一行的像素数据。
信息处理单元220从包括在EBD数据214A中的嵌入数据中提取ROI信息120B。信息处理单元220基于由信息提取单元221提取的ROI信息120B,从由接收单元210接收的传输数据147A中包括的长分组的有效载荷数据中提取捕获图像111中的每个感兴趣区域ROI的图像(ROI图像112)。例如,信息处理单元220包括信息提取单元221、ROI解码单元222、ROI图像生成单元223、以及正常图像解码单元224。
正常图像解码单元224对有效载荷数据215B进行解码以生成正常图像224A。ROI解码单元222对包括在有效载荷数据215A中的压缩图像数据147B进行解码,以产生图像数据222A。图像数据222A包括一个或多个传输图像116。
信息提取单元221从包括在EBD数据214A中的嵌入数据中提取ROI信息120B。例如,信息提取单元221从包含在EBD数据214A中的嵌入数据中提取包含在捕获图像111中的感兴趣区域ROI的数量、每个感兴趣区域ROI的区域数量(或优先级115)、每个感兴趣区域ROI的数据长度以及每个感兴趣区域ROI的图像格式。即,传输数据147A包括对应于每个传输图像116的感兴趣区域ROI的区域编号(或优先级115),作为能够确定已经从从传输数据147A获得的多个传输图像116中的哪一个中省略重叠区域ROO的图像118的确定信息。
ROI图像生成单元223基于由信息提取单元221获得的ROI信息120B检测两个或更多感兴趣区域ROI彼此重叠的重叠区域ROO。
例如,信息提取单元221从包括在EBD数据214A中的嵌入数据中提取与ROI图像112a1对应的感兴趣区域ROI的坐标(例如,左上端坐标(Xa1,Ya1))、长度(例如,物理区域长度XLa1和YLa1)以及区域编号1(或优先级115(=1))。信息提取单元221进一步从包括在EBD数据214A中的嵌入数据中提取对应于ROI图像112a2的感兴趣区域ROI的坐标(例如,左上端坐标(Xa2,Ya2))、长度(例如,物理区域长度XLa2和YLa2)以及区域编号2(或优先级115(=2))。
此时,ROI图像生成单元223基于这些条提取的信息(在下文中,称为“提取的信息221A”)导出重叠区域ROO的位置信息114。ROI图像生成单元223导出例如重叠ROO的区域的坐标(例如,左上端坐标(Xb1,Yb1))和长度(例如,物理区域长度XLb1和YLb1)作为上述重叠ROO的区域的位置信息114。
注意,ROI图像生成单元223可以从有效载荷数据215A获取ROI信息120B,而不是从包括在EBD数据214A中的嵌入数据获取ROI信息120B。在这种情况下,ROI图像生成单元223可以基于有效载荷数据215A中包括的ROI信息120B检测两个或更多感兴趣区域ROI彼此重叠的重叠区域ROO。此外,ROI图像生成单元223可以从包括在有效载荷数据215A中的ROI信息120B提取提取信息221A,并且可以基于以此方式提取的提取信息221A导出重叠ROO的区域的位置信息114。
ROI图像生成单元223进一步基于图像数据222A、提取出的信息221A以及重叠区域ROO的位置信息114来生成捕获图像111的各感兴趣区域ROI的图像(ROI图像112a1、112a2)。ROI图像生成单元223将生成的图像输出为ROI图像223A。
[过程]
接下来,将参考图3和图9描述在视频传输系统1中的数据传输的过程的实例。
首先,成像单元110将通过成像获得的捕获图像111(数字图像数据)输出至图像处理单元120。ROI切割单元121指定包括在从成像单元110输入的捕获图像111中的两个感兴趣区域ROI1和ROI2。ROI切割单元121从捕获图像111切割相应的感兴趣区域ROI1和ROI2的图像(ROI图像112a1和112a2)。ROI切割单元121将区域编号1分配给感兴趣区域ROI1作为标识符,并且将区域编号2分配给感兴趣区域ROI2作为标识符。
ROI分析单元122针对每个感兴趣区域ROI导出捕获图像111中的感兴趣区域ROI的位置信息113。ROI分析单元122基于感兴趣区域ROI1导出感兴趣区域ROI1的左上端坐标(Xa1,Ya1)、感兴趣区域ROI1在X轴方向上的长度(XLa1)、以及感兴趣区域ROI1在Y轴方向上的长度(YLa1)。ROI分析单元122基于感兴趣区域ROI2导出感兴趣区域ROI2的左上端坐标(Xa2,Ya2)、感兴趣区域ROI2在X轴方向上的长度(XLa2)以及感兴趣区域ROI2在Y轴方向上的长度(YLa2)。
重叠检测单元123基于捕获图像111中的两个感兴趣区域ROI1和ROI2的位置信息113检测两个感兴趣区域ROI1和ROI2彼此重叠的重叠区域ROO。即,重叠检测单元123导出捕获图像111中的重叠区域ROO的位置信息114。重叠检测单元123导出重叠区域ROO的左上端坐标(Xb1,Yb1)、重叠区域ROO的在X轴方向上的长度(XLb1)和重叠区域ROO的在Y轴方向上的长度(YLb1)作为捕获图像111中的重叠区域ROO的的位置信息114。
对于两个感兴趣区域ROI1和ROI2,优先级设置单元124将1作为优先级115分配给一个感兴趣区域ROI1,并且将2作为优先级115分配给另一个感兴趣区域ROI2。
编码单元125以使图像118不冗余地包括在两个感兴趣区域ROI1和ROI2中的方式生成通过从捕获图像111中获得的两个ROI图像112a1和112a2中省略重叠区域ROO的图像118而获得的两个传输图像116a1和116a2。
编码单元125基于两个感兴趣区域ROI1和ROI2的区域编号(或优先级115)确定从两个ROI图像112a1和112a2中的哪一个省略图像118。编码单元125从ROI图像112a2中省略对应于两个感兴趣区域ROI1和ROI2中具有较大区域编号(或较高优先级115)的感兴趣区域ROI2的图像118,从而生成传输图像116a2。在ROI图像112a1对应于两个感兴趣区域ROI1和ROI2中具有较小区域编号(或较低优先级115)的感兴趣区域ROI1的情况下,编码单元125使用ROI图像112a1本身作为传输图像116a1。
图像处理控制单元126产生ROI信息120B和帧信息120C,并且将ROI信息120B和帧信息120C发送到发送单元140。发送单元140基于从图像处理单元120和130输入的各种数据(120A、120B、120C和130A)产生并发送传输数据147A。发送单元140经由数据通道DL将生成的传输数据147A发送到视频接收装置200。
接收单元210经由数据通道DL接收从视频发送装置100输出的传输数据147A。接收单元210对接收到的传输数据147A实施预定的处理,生成EBD数据214A和有效载荷数据215A,并将所生成的数据输出到信息处理单元220。
信息提取单元221从包括在EBD数据214A中的嵌入数据中提取ROI信息120B。信息提取单元221从包括在EBD数据214A中的嵌入数据中提取与ROI图像112a1对应的感兴趣区域ROI的坐标(例如,左上端坐标(Xa1,Ya1))、长度(例如,物理区域长度XLa1和YLa1)以及区域编号1(或优先级115(=1))。信息提取单元221进一步提取对应于ROI图像112a2的感兴趣区域ROI的坐标(例如,左上端坐标(Xa2,Ya2))、长度(例如,物理区域长度XLa2和YLa2)以及区域编号2(或优先级115(=2))。ROI解码单元222对包括在有效载荷数据215A中的压缩图像数据147B进行解码,以产生图像数据222A。
ROI图像生成单元223基于这些条提取的信息(提取的信息221A)导出重叠区域ROO的位置信息114。ROI图像生成单元223导出例如重叠区域ROO的坐标(例如,左上端坐标(Xb1,Yb1))和长度(例如,物理区域长度XLb1和YLb1)作为上述重叠区域ROO的位置信息114。ROI图像生成单元223进一步基于图像数据222A、提取出的信息221A以及重叠区域ROO的位置信息114来生成捕获图像111的各感兴趣区域ROI的图像(ROI图像112a1、112a2)。
[效果]
接着,对本实施方式的音频传输系统1的效果进行说明。
近年来,海量数据的传输正在增加。大负载可能施加于传输系统,并且在最坏情况下,存在传输系统故障并且不能执行数据传输的可能性。
传统上,指定要成像的对象,并且仅传输指定的对象的切割部分的图像,而不是例如传输所有捕获的图像,以便防止传输系统下降。
同时,MIPICSI-2可用作用于从图像传感器到应用处理器的传输的方法。在尝试使用该方法传输ROI的情况下,在一些情况下,由于各种限制,ROI的传输不容易。
另一方面,在本实施方式中,关于捕获图像111中的每个感兴趣区域ROI的ROI信息120B作为嵌入数据被发送,并且每个感兴趣区域ROI的图像数据作为长分组的有效载荷数据被发送。结果,已经接收从视频发送装置100发送的传输数据147A的装置(视频接收装置200)可以容易地从传输数据147A中提取每个感兴趣区域ROI的图像数据(ROI图像112)。因此,感兴趣区域ROI甚至可以在各种约束下发送。
此外,在本实施方式中,通过共同的虚拟通道发送每个感兴趣区域ROI的图像数据(压缩图像数据120A)。结果,可以在同一分组中发送多个ROI图像112,并且因此不必在发送多个ROI图像112的同时进入LP模式,其结果是可以获得高传输效率。
此外,在本实施方式中,将各感兴趣区域ROI的数据类型包含在长分组的有效载荷数据的分组报头PH中并进行发送。结果,仅通过访问长分组的有效载荷数据的分组报头PH而不访问嵌入数据,就能够获得各感兴趣区域ROI的数据类型。因此,可以提高视频接收装置200中的处理速度,其结果是可以获得高传输效率。
此外,在本实施方式中,在ROI信息120B被包括在长分组的有效载荷数据中并且被发送的情况下,可以仅通过访问长分组的有效载荷数据而不访问嵌入数据来获得ROI信息120B。因此,可以提高视频接收装置200中的处理速度,其结果是可以获得高传输效率。
此外,在本实施方式中,从包括在传输数据147A中的嵌入数据中提取关于每个感兴趣区域ROI的ROI信息120B,并且基于所提取的ROI信息120B从包括在传输数据147A中的长分组的有效载荷数据中提取每个感兴趣区域ROI的图像(ROI图像112)。结果,可以容易地从传输数据147A中提取每个感兴趣区域ROI的图像(ROI图像112)。因此,感兴趣区域ROI甚至可以在各种约束下发送。
2.本公开的基础技术2:
将参考图1至图9和图10至图12描述用于传输从捕获图像中切割的一些(非矩形)感兴趣区域(ROI)的技术。即,将描述用于发送和接收具有不同于正方形(矩形形状)的形状的待捕获的对象的图像的技术。图10是示意性示出指定对象布置在捕获图像111中的区域的示图。要注意的是,图10示意性示出了在包括15行×23列成像元件的成像区域中捕获的捕获图像111,以便于理解。图11是示出为指定对象设置的ROI的实例的示图。
在基础技术2中,与基础技术1相似,将描述在用于指示ROI的切割的控制信号经由照相机控制接口CCI从视频接收装置200输入至视频发送装置100的情况下,对从成像单元110输入的捕获图像111执行预定处理的情况。然而,基础技术2也可应用于视频发送装置100(即,发送侧)指定要被切割的ROI的坐标的情况。在这种情况下,例如,发送侧被配置为接收诸如从接收侧发送的ROI中的待获取的“人”或“对象”的信息,并且确定并指定切割的坐标。
经由照相机控制接口CCI从视频接收装置200输入用于指示ROI的切割的控制信号。结果,如图10所示,ROI切割单元121指定包括在捕获图像111中的四个待捕获的对象1至4。对象1例如具有占据捕获图像111中的左上区域的一部分的矩形形状。例如,对象2占据捕获图像111中的对象1的右侧上的部分区域,并且具有其中缺少矩形的相对的上侧角和矩形的下边缘的一部分的形状。例如,对象3占据捕获图像111中的对象2下方的部分区域,并且具有其中缺少矩形的四个角的形状。例如,对象4占据捕获图像111中的对象3下方的部分区域,并且具有其中缺少矩形的相对的上侧角的形状。对象3和对象4彼此部分重叠。
如图11所示,ROI切割单元121(见图2)将包括指定的对象1至4的最小矩形分别设置为感兴趣区域ROI1至ROI4。ROI切割单元121为对象1设置感兴趣区域ROI1并且切割ROI图像112a1。此外,ROI切割单元121为对象2设置感兴趣区域ROI2并且切割ROI图像112a2。此外,ROI切割单元121为对象3设置感兴趣区域ROI3并切割ROI图像112a3。此外,ROI切割单元121为对象4设置感兴趣区域ROI4并切割ROI图像112a4。
ROI切割单元121将感兴趣区域ROI1和分配给感兴趣区域ROI1的区域编号“1”彼此相关联地存储在存储单元中。ROI切割单元121将感兴趣区域ROI2和分配给感兴趣区域ROI2的区域编号“2”彼此相关联地存储在存储单元中。ROI切割单元121将感兴趣区域ROI3和分配给感兴趣区域ROI3的区域编号“3”彼此相关联地存储在存储单元中。ROI切割单元121将感兴趣区域ROI4和分配给感兴趣区域ROI4的区域编号“4”彼此相关联地存储在存储单元中。
ROI分析单元122(见图2)导出感兴趣区域ROI1至ROI4中的每一个的位置信息。ROI分析单元122导出例如在X轴方向上的物理区域长度XLa1和在Y轴方向上的物理区域长度YLa1作为感兴趣区域ROI1的位置信息。ROI分析单元122导出例如在X轴方向上的物理区域长度XLa2和在Y轴方向上的物理区域长度YLa2作为感兴趣区域ROI2的位置信息。例如,ROI分析单元122导出X轴方向上的物理区域长度XLa3和Y轴方向上的物理区域长度YLa3作为感兴趣区域ROI3的位置信息。ROI分析单元122导出例如X轴方向上的物理区域长度XLa4和Y轴方向上的物理区域长度YLa4作为感兴趣区域ROI4的位置信息。例如,ROI分析单元122可以进一步导出X轴方向上的感兴趣区域ROI的输出区域长度XLc和Y轴方向上的感兴趣区域ROI的输出区域长度YLc作为用于每个感兴趣区域ROI的位置信息113。
ROI分析单元122导出每个感兴趣区域ROI在X轴方向和Y轴方向上的长度,从而导出感兴趣区域ROI1至ROI4中的每一个的大小和总数据量作为后续阶段的信息。结果,对应于后续阶段的视频接收装置200可确保存储器区域。
ROI分析单元122被配置为在要捕获的对象和感兴趣区域的形状不匹配的情况下导出ROI图像112a1至112a4的位置信息而不是感兴趣区域ROI的位置信息。ROI分析单元122导出每行的左端坐标(xn,yn)和X轴方向上的物理区域长度XLn作为ROI图像112a1至112a4的位置信息。此外,在ROI图像如在ROI图像112a2的第二行中一样分离的情况下,ROI分析单元122导出每个分离部分的位置信息。ROI分析单元122将感兴趣区域ROI1至ROI4的区域编号和ROI图像112a1至112a4的位置信息彼此相关联地存储在存储单元中。
此外,除了位置信息之外,ROI分析单元122还可以针对每个感兴趣区域ROI1至ROI4导出例如感测信息、曝光信息、增益信息、AD字长、图像格式等,并且将所导出的信息与区域编号相关联地存储在存储单元中。
在要捕获的对象具有矩形形状的情况下,重叠检测单元123(见图2)导出ROI图像彼此重叠的区域而不是感兴趣区域彼此重叠的区域作为重叠区域。如图11所示,重叠检测单元123得出重叠ROO的区域作为ROI图像112a3和ROI图像123a4彼此重叠的区域。重叠检测单元123将所导出的重叠区域ROO与各感兴趣区域ROI3和ROI4的位置信息相关联地存储在存储单元中。
优先级设置单元124(见图2)将优先级“1”分配给感兴趣区域ROI1,并且将优先级(1)与感兴趣区域ROI1相关联地存储在存储单元中。优先级设置单元124将低于优先级“1”的优先级“2”分配给感兴趣区域ROI2,并且将优先级(2)与感兴趣区域ROI2相关联地存储在存储单元中。优先级设置单元124将低于优先级“2”的优先级“3”分配给感兴趣区域ROI3,并且将优先级(3)与感兴趣区域ROI3相关联地存储在存储单元中。优先级设定单元124将比优先级“3”低的优先级“4”分配给感兴趣区域ROI4,并且将优先级(4)与感兴趣区域ROI4相关联地存储在存储单元中。
编码单元125(参见图2)针对每个ROI图像112a1至112a4生成传输图像。由于感兴趣区域ROI4的优先级低于感兴趣区域ROI3,所以编码单元125通过从ROI图像112a4中省略重叠区域ROO来生成传输图像。
图像处理控制单元126(参见图2)生成ROI信息和帧信息,并且将ROI信息和帧信息发送到发送单元140(参见图2)。ROI信息包括例如ROI图像112a1至112a4中的每一个的位置信息。ROI信息还包括与要捕获的对象具有矩形形状的情况下的信息相似的信息(例如,各个感兴趣区域ROI1至ROI4的数据类型、包括在捕获图像111中的感兴趣区域ROI1至ROI4的数量、感兴趣区域ROI1至ROI4的区域数量和优先级等)。例如,帧信息包括与要成像的对象具有矩形形状的情况下的信息类似的信息,诸如感兴趣区域ROI1至ROI4的数据类型。
设置在发送单元140中的LINK控制单元141(见图2)针对各行将从图像处理控制单元126输入的帧信息和ROI信息输出到ECC生成单元142和PH生成单元143(见图2)。ECC生成单元142基于例如帧信息中的一行的数据(例如,虚拟通道数量、感兴趣区域ROI1至ROI4中的每一个的数据类型、每行的有效载荷长度等)生成该行的纠错码。ECC生成单元142将生成的纠错码输出到例如PH生成单元143。PH生成单元143通过使用例如由ECC生成单元142生成的帧信息和纠错码来生成每行的分组报头PH(见图4)。
EBD缓冲器144(见图2)首先存储ROI信息并且在预定的定时将ROI信息作为嵌入数据输出至组合单元147(见图2)。
例如,ROI数据缓冲器145(见图2)主要存储从编码单元125输入的压缩图像数据,并且在经由相机控制接口CCI从视频接收装置200输入用于指示ROI切割的控制信号的情况下,将压缩图像数据120A作为长分组的有效载荷数据输出至组合单元147。
在从视频接收装置200经由照相机控制接口CCI输入了指示ROI的切割的控制信号的情况下,组合单元147基于各种输入数据(分组报头PH、ROI信息以及经由ROI数据缓冲器145从编码部125输入的压缩图像数据)来生成传输数据147A。组合单元147将生成的传输数据147A经由数据通道DL输出至视频接收装置200。即,组合单元147在长分组的有效载荷数据的分组报头PH中包括感兴趣区域ROI1至ROI4中的每一个的数据类型并且发送该分组。此外,组合单元147通过共用虚拟通道发送感兴趣区域ROI1至ROI4中的每一个的图像数据(压缩图像数据)。
在捕获对象不是矩形形状的情况下,将ROI图像112a1至112a4的位置信息包含在长分组的分组报头PH或有效载荷数据中。通过PH生成单元143将ROI图像112a1至112a4的位置信息包含在分组报头PH中。同时,通过组合单元147将ROI图像112a1至112a4中的每一个的位置信息包括在长分组的有效载荷数据中。
图12是示出传输数据147A的配置实例的示图,其中,每个ROI图像112a1至112a4的位置信息包括在长分组的有效载荷数据中。如图12所示,例如,传输数据147A包括帧报头区域R1和分组区域R2。要注意的是,图12详细示出了帧报头区域R1的内容。此外,在图12中,省略了低功率模式LP。
帧报头区域R1包括例如帧号F1作为传输数据147A的标识符。帧报头区域R1包括关于包括在分组区域R2中的压缩图像数据的信息。帧报头区域R1包括例如压缩图像数据的条数(ROI的数量)和与各压缩图像数据对应的各ROI图像112a1至112a4有关的信息(ROI信息)。ROI信息包括区域编号、物理区域长度、矩形输出区域大小、优先级、曝光信息、增益信息、AD字长和图像格式。物理区域长度是ROI图像的最大长度,并且矩形输出区域大小是感兴趣区域ROI的大小。
在图12中示出的“info”表示存储在长分组的有效载荷中的区域信息。例如,ROI图像112a1至112a4中的每一个的位置信息被存储在“info”中。ROI图像112a1至112a4中的每一个的位置信息被存储在长分组的有效载荷的头部。在ROI图像中包括的各个连续像素行在X轴方向上的物理区域长度相同并且具有不同区域编号的ROI图像不包括在各个像素行中的情况下,区域信息“info”不必存储在包括各个像素行中的第二和后续像素行的图像数据的长分组的有效载荷中。在该实例中,在ROI图像112a1中,X轴方向上的所有像素行中第一至第四连续像素行的物理区域长度相同,并且具有不同区域编号的ROI图像不包括在第一至第四像素行中。因此,区域信息“info”不存储在包括与ROI图像112a1中包括的第一至第四连续像素行中的第二和后续像素行对应的第二至第四像素行的图像数据的每个长分组的有效载荷中。此外,在该实例中,在ROI图像112a4中,X轴方向上的所有像素行中的第二和第三连续像素行的物理区域长度相同,并且具有不同区域编号的ROI图像不包括在第二和第三像素行中。因此,区域信息“info”不存储在包括与ROI图像112a4中包括的第二和第三连续像素行中的第二和后续像素行对应的第三像素行的图像数据的长分组的有效载荷中。应注意,即使在X轴方向上的物理区域长度相同并且在每个像素行中不包括具有不同区域编号的ROI图像的情况下,区域信息“info”可以存储在每行的有效载荷中。
例如,组合单元147对传输数据147A的分组区域R2划分并布置通过对每个像素行压缩ROI图像112a1至112a4中的每一个而产生的压缩图像数据。在图12中示出的“1”表示存储在长分组的有效载荷中的ROI图像112a1的压缩图像数据。在图12中示出的“2”表示存储在长分组的有效载荷中的ROI图像112a2的压缩图像数据。在图12中示出的“3”表示ROI图像112a3的压缩图像数据。在图12中示出的“4”表示存储在长分组的有效载荷中的ROI图像112a4的压缩图像数据。应注意,在图12中,为了便于理解,以分割方式示出每条压缩图像数据,但是在存储在长分组的有效载荷中的数据中不存在分割。对应于重叠区域ROO的图像的压缩图像数据112b未被冗余地包括在传输数据147A的分组区域R2中。此外,例如,组合单元147在传输数据147A的分组区域R2中省略不对应于每个传输图像的捕获图像111的像素行。因此,传输数据147A的分组区域R2不包括不对应于每个传输图像的捕获图像111的像素行。
接下来,将描述在接收传输数据147A的情况下的视频接收装置200的操作。
设置在接收单元210中的报头分离单元211(参见图8)经由数据通道DL从视频发送装置100接收传输数据147A。即,报头分离单元211接收传输数据147A,其中,在嵌入数据中包括关于捕获图像111中的每个感兴趣区域ROI1至ROI4的ROI信息,并且在长分组的有效载荷数据中包括每个感兴趣区域ROI1至ROI4的图像数据(压缩图像数据)。报头分离单元211将接收的传输数据147A分离成帧报头区域R1和分组区域R2。
报头解译单元212(参见图8)基于包括在帧报头区域R1中的数据(具体地,嵌入数据)指定包括在分组区域R2中的长分组的有效载荷数据的位置。
有效载荷分离单元213(参见图8)基于由报头解译单元212指定的长分组的有效载荷数据的位置,将包括在分组区域R2中的长分组的有效载荷数据与分组区域R2分离。
EBD解译单元214将嵌入数据作为EBD数据输出到信息处理单元220(参见图8)。EBD解译单元214进一步基于包括在嵌入数据中的数据类型确定包括在长分组的有效载荷数据中的图像数据是ROI的图像数据116的压缩图像数据还是正常图像数据的压缩图像数据。EBD解译单元214将确定结果输出至ROI数据分离单元215(参见图8)。
在输入作为包括在长分组的有效载荷数据中的图像数据的ROI的图像数据的情况下,ROI数据分离单元215将长分组的有效载荷数据作为有效载荷数据输出至信息处理单元220(具体地,ROI解码单元222(参见图8))。包括ROI信息的长分组的有效载荷数据包括ROI信息的一行的像素数据和压缩图像数据。
设置在信息处理单元220中的信息提取单元221(见图8)从包括在从EBD解译单元214输入的EBD数据中的嵌入数据中提取包括在捕获图像111中的感兴趣区域ROI1至ROI4的数量(在该实例中为四个)、感兴趣区域ROI1至ROI4的区域编号1至4和优先级1至4、每个感兴趣区域ROI1至ROI4的数据长度以及每个感兴趣区域ROI1至ROI4的图像格式。此外,信息提取单元221从嵌入数据中提取ROI图像112a1至112a4中的每一个的位置信息。
ROI解码单元222对包括在有效载荷数据中的压缩图像数据147B进行解码,提取ROI图像112a1至112a4中的每一个的位置信息,并且生成图像数据(从传输图像中生成)。例如,在输入与第六像素行对应的有效载荷数据的情况下,ROI解码单元222从有效载荷数据中提取ROI图像112a1的一条位置信息和ROI图像112a2的两条位置信息,并且生成与第六像素行对应的ROI图像112a1和112b1中的每一个的图像数据(传输图像)。
例如,在输入与第十像素行对应的有效载荷数据的情况下,ROI解码单元222从有效载荷数据中提取ROI图像112a3的一条位置信息和ROI图像112a4的一条位置信息,并且生成ROI图像112a3和112b4中的每一个的图像数据(传输图像)。
ROI图像生成单元223(参见图8)基于通过信息提取单元221获得的ROI信息、通过ROI解码单元222提取的每个ROI图像112a1至112a4的位置信息、以及通过ROI解码单元222生成的传输图像生成捕获图像111中的感兴趣区域ROI1至ROI4的ROI图像112a1至112a4。例如,在输入从对应于第六像素行的有效载荷数据中提取的ROI图像112a1的一条位置信息和ROI图像112a2的两条位置信息及其传输图像的情况下,ROI图像生成单元223生成对应于五个像素并且在X轴方向上延伸的ROI图像112a1、对应于四个像素并且在与ROI图像112a1分离五个像素的位置处在X轴方向上延伸的ROI图像112a2以及对应于两个像素并且在与ROI图像112a2分离两个像素的位置处在X轴方向上延伸的ROI图像112a2(见图10)。
此外,ROI图像生成单元223基于由信息提取单元221获得的ROI信息检测感兴趣区域ROI3和感兴趣区域ROI4彼此重叠的重叠区域ROO。ROI图像生成单元223基于所检测的重叠区域ROO生成从对应于第十像素行的有效载荷数据中提取的ROI图像112a3和112a4中的每一个的位置信息和传输图像,在一个像素与ROI图像112a3重叠的状态下,ROI图像112a3对应于四个像素并且在X轴方向上延伸,并且ROI图像112a4对应于三个像素并且在X轴方向上延伸(见图10)。
ROI图像生成单元223将生成的图像作为ROI图像输出到后续阶段(未示出)中的装置。
以这种方式,即使在要捕获的对象具有矩形形状以外的形状的情况下,视频发送装置100和视频接收装置200也可以发送和接收ROI图像。
3.本公开实施方式中的阴影校正处理原理:
接下来,将参照图13至图15描述根据本公开的实施方式的阴影校正处理的原理。图13是示出包含在受到阴影校正处理的捕获图像中的ROI的实例的示图。图14是示出用于阴影校正处理的校正值表的实例的示图。此外,图15示意性地示出了本公开中的阴影校正处理的示图。
如图13所示,捕获图像α包括三个感兴趣区域(感兴趣区域ROI0至ROI2)。例如,在使用透镜捕获的图像(在该实例中的拍摄的图像α)中,由于光源的方向、透镜像差等的影响,可能发生图像的周边部分比图像的中心部分暗的现象(亮度不均匀或密度不均匀)。阴影校正是用于解决此现象的方法。
在阴影校正处理中,例如,可以通过根据捕获图像中的区域调整(放大)图像的亮度,校正亮度不均匀性、密度不均匀性等,以使捕获图像的亮度均匀。因此,在阴影校正处理中,根据捕获图像中的区域调整亮度的放大程度。例如,由于捕获图像的外围部分具有相对低的亮度,因此在捕获图像的外围部分中亮度的放大程度增加。此外,因为捕获图像的中心部分具有相对高的亮度,所以在捕获图像的中心部分中亮度的放大程度降低或者保持成像时的亮度而不被放大。因此,在对整个捕获图像的阴影校正处理中,基于与捕获图像中的区域对应的阴影校正值(用于亮度放大的校正值),放大捕获图像中的每个区域的亮度。因此,使整个捕获图像的亮度均匀。
然而,每次从所捕获的图像中切割出的感兴趣区域(ROI)的范围和大小是未知的。因此,在对感兴趣区域执行阴影校正的情况下,需要根据感兴趣区域位于捕获图像中的哪个区域来确定亮度的放大程度,即,阴影校正值。
例如,相应的阴影校正值根据感兴趣区域是否对应于捕获图像中的外围部分或者对应于捕获图像中的中心部分而改变。因此,对于捕获图像中的位置和大小被任意选择的感兴趣区域,无法进行与整个捕获图像(在该例子中是捕获图像α)相同的阴影校正处理。例如,如图13所示,在三个感兴趣区域(感兴趣区域ROI0至ROI2)包括在捕获图像α中的情况下,灵敏度的调整程度对于每个感兴趣区域是不同的。此外,在存在如感兴趣区域ROI0至ROI2那样其间具有间隔的多个感兴趣区域的情况下,对成像中的不连续区域进行阴影校正。此外,在每个感兴趣区域中,每个像素的亮度的放大程度(即,相应的阴影校正值)也可以根据到捕获图像α的外围部分的距离和到捕获图像α的中心部分的距离中的哪较短而不同。
因此,根据本实施方式的传输系统被配置为基于视频装置或者视频接收装置中的捕获图像中的感兴趣区域的坐标信息对感兴趣区域的图像数据执行阴影校正处理。结果,能够以与捕获图像中的区域对应的程度来放大感兴趣区域的图像数据的亮度,能够使亮度均匀。这里,坐标信息是表示捕获图像α中的感兴趣区域的位置的信息(位置信息)。在本实施方式中,至少感兴趣区域的左上端部的坐标被用作感兴趣区域的坐标信息。以下将描述在阴影校正处理中使用的感兴趣区域的坐标信息。
(感兴趣区域的坐标信息)
这里,将描述在本实施方式中的阴影校正处理中所使用的感兴趣区域的坐标信息。
如图13所示,矩形感兴趣区域ROI0至ROI2在捕获图像α中以预定间隔布置。捕获图像α的原点α_o(0,0)对应于捕获图像α的左上端部分的像素。如上所述,在设置感兴趣区域的情况下,导出感兴趣区域的坐标信息和大小信息(X轴方向上的长度和Y轴方向上的长度)。在该实施方式中,在捕获图像α中设置感兴趣区域ROI0至ROI2的情况下,例如,如图13所示,导出表示感兴趣区域ROI0的左上端部的起始点Pr0的坐标(R0X,R0Y)作为感兴趣区域ROI0的坐标信息。这里,感兴趣区域ROI0的起始点Pr0的坐标(R0X,R0Y)是感兴趣区域ROI0的左上端部的像素。此外,除了坐标信息之外,导出X轴方向上的长度R0W和Y轴方向上的长度R0H作为感兴趣区域ROI0的大小信息。
此外,类似地,例如,导出起始点Pr1的坐标(R1X,R1Y)作为感兴趣区域ROI1的坐标信息。这里,起始点Pr1的坐标(R1X,R1Y)对应于在感兴趣区域ROI1的左上端部的像素。此外,导出X轴方向上的长度R1W和Y轴方向上的长度R1H作为感兴趣区域ROI1的大小信息。此外,类似地,例如,导出起始点Pr2的坐标(R2X,R2Y)作为感兴趣区域ROI2的坐标信息。这里,起始点Pr2的坐标(R2X,R2Y)对应于在感兴趣区域ROI2的左上端部的像素。此外,导出X轴方向上的长度R2W和Y轴方向上的长度R2H作为感兴趣区域ROI2的大小信息。
感兴趣区域ROI0、ROI1和ROI2的起始点Pr0、Pr1和Pr2的各坐标表示捕获图像α中的感兴趣区域ROI0、ROI1和ROI2的位置。因此,起始点Pr0、Pr1和Pr2的相应坐标是基于捕获图像的原点α像的(0,0)(即,捕获图像α的左上端部分的像素)的坐标。在本实施方式中,导出感兴趣区域的左上端部分的坐标作为在传输装置中设置感兴趣区域时的坐标信息,并且保持该坐标信息用于后续处理。如后面详细说明的那样,在阴影校正处理中也使用感兴趣区域的左上端部的坐标。此外,在设置感兴趣区域时,大小信息(X轴方向上的长度和Y轴方向上的长度)也与坐标信息一起被导出,并且被保存以供后续处理(阴影校正处理等)使用。
此外,在本实施方式中,在阴影校正处理中,生成捕获图像中的感兴趣区域的图像数据的每个像素的坐标作为坐标信息。作为坐标信息的各像素的坐标基于感兴趣区域的左上端部的坐标来生成。即,阴影校正处理所使用的坐标信息除了包含感兴趣区域的左上端部的坐标之外,还包含感兴趣区域的图像数据的各像素的坐标。然后,通过使用根据坐标信息的阴影校正值,针对感兴趣区域的图像数据的每个像素放大亮度。结果,能够提高针对感兴趣区域的图像数据的阴影校正处理的精度。这里,将描述感兴趣区域的图像数据的每个像素(像素单位)的坐标的生成。
(感兴趣区域中的每个像素的坐标信息)
在本实施方式中,使用表示感兴趣区域的左上端部(起始点)的像素的坐标和感兴趣区域的大小信息,生成感兴趣区域的图像数据中的各像素的坐标。在本实施方式中,感兴趣区域的大小信息指示像素的数量。即,感兴趣区域的X轴方向的长度表示感兴趣区域的图像数据中的X轴方向的像素数,Y轴方向的长度表示感兴趣区域的图像数据中的Y轴方向的像素数。此外,通过将X轴方向上的长度(像素数量)乘以Y轴方向上的长度(像素数量)(X轴方向上的长度×Y轴方向上的长度)来计算整个感兴趣区域中的像素数量。此外,Y轴方向上的长度表示感兴趣区域的图像数据中的像素行的数量。例如,在图像数据在Y轴方向上的长度是预定的感兴趣区域中的10个像素的情况下,图像数据包括10个像素行。
在本实施方式中,在所捕获图像中的每个坐标位置处布置一个像素的图像数据。即,感兴趣区域中的每个坐标和感兴趣区域中的图像数据的每个像素一一对应。在本实施方式中,从表示感兴趣区域的左上端部(起始点)的像素的坐标开始,基于X轴方向上的长度(像素数)测量(计数)X坐标。结果,能够以像素行为单位生成捕获图像中的感兴趣区域的图像数据的每个像素的相对坐标(像素坐标)。另外,根据感兴趣区域的图像数据在Y轴方向上的长度(像素数),即,像素行的数量,通过以像素行为单位重复像素坐标的生成,可生成感兴趣区域的整个图像数据的像素坐标。
例如,感兴趣区域ROI0在X轴方向上的长度R0W表示感兴趣区域ROI0的图像数据中在X轴方向上的像素数(包括在像素行数据中的像素数)。此外,感兴趣区域ROI0在Y轴方向上的长度R0H表示感兴趣区域ROI0的图像数据中在Y轴方向上的像素数(像素数据的条数)。因此,在通过对应于从感兴趣区域ROI0的起始点Pr0的坐标(R0X,R0Y)开始的“X轴方向上的长度R0W-1”的像素数量将1加到起始点PR0的X坐标的同时进行测量(计数)。结果,对于感兴趣区域ROI0的图像数据的顶部像素行,生成与包括起始点Pr0的坐标(R0X,R0Y)的由X轴方向上的长度R0W表示的像素数对应的坐标。
此后,在将感兴趣区域ROI0的起始点Pr0的坐标(R0X,R0Y)在Y轴方向上移动一个坐标(一个像素)的同时,以像素行为单位生成与X轴方向上的长度(像素数)相对应的像素坐标。通过像素行的数量(Y轴方向上的长度R0H)重复执行在感兴趣区域ROI0中生成像素坐标的处理。具体地,以像素行为单位生成像素坐标的处理重复对应于“Y轴方向的长度-1”的次数。结果,最终产生感兴趣区域ROI0的右下端(端点)Er0的坐标(R0X+(R0W-1),ER0Y+(R0H-1))。即,生成构成感兴趣区域ROI0中的图像数据的所有像素行的坐标,即感兴趣区域ROI的图像数据中的所有像素的坐标。
如上所述,感兴趣区域ROI0的图像数据的各像素的坐标基于感兴趣区域ROI0的起始点Pr0的坐标(R0X,R0Y)来生成。更具体地,使用感兴趣区域ROI0的起始点Pr0的坐标(R0X,R0Y)和大小信息(X轴方向上的长度R0W和Y轴方向上的长度R0H)来生成感兴趣区域ROI0的图像数据的各像素的坐标。由此,能够生成捕获图像α中的感兴趣区域ROI0的图像数据的各像素的坐标。对于感兴趣区域ROI1和ROI2,类似地生成图像数据的所有像素的坐标。
(捕获图像的块区域)
在本实施方式中,在阴影校正处理中,使用感兴趣区域的图像数据的阴影校正值放大亮度。阴影校正值例如是对图像数据进行乘法以放大亮度的值(数值)。在本实施方式中,阴影校正值与作为通过将捕获图像(在该实例中,捕获图像α)除以预定数量的像素而获得的区域的块区域(在该实例中,块区域Br)相关联。
如图13所示,捕获图像α中的块区域Br是包括每个区域256(像素)×256(像素)=65536个像素的图像区域。也就是说,每个块区域对应于与65536个像素对应的图像数据的坐标。此外,如图13所示,捕获图像α是包括3538944像素=2304像素(X轴方向上的长度)×1536像素(Y轴方向上的长度)的图像。因此,捕获图像α中的块区域Br的数量是54(=3538944像素(总像素数)/65536像素(每块区域的像素数))。即,将捕获图像α分割成54个块区域Br。更具体地,捕获图像α被划分为54个坐标区域(X轴方向上的9个和Y轴方向上的6个)。为了便于理解,图13仅示出了54个块区域Br中的右上端的块区域Br。
在捕获图像α中,根据捕获图像中的位置(坐标),每个块区域Br与适当的阴影校正值相关联。例如,较大的阴影校正值与对应于捕获图像α的外围部分的块区域Br相关联。因此,能够适当地放大捕获图像α的外围部分中具有相对低亮度的图像数据的亮度。此外,例如,相对小的阴影校正值与对应于捕获图像α的中心部分的块区域Br相关联。因此,可以通过减小捕获图像α的中心部分处的图像数据的亮度的放大程度来调整与周边部分的亮度的平衡,中心部分具有相对高的亮度。
在本实施方式中,在感兴趣区域的阴影校正处理中,确定感兴趣区域的图像数据的每个像素属于哪个块区域Br。即,确定感兴趣区域的图像数据的像素坐标对应于块区域Br的哪个坐标。结果,通过使用与感兴趣区域中的图像数据的各像素所属的块区域Br对应的阴影校正值,进行适合于各像素的图像数据的阴影校正处理。
(校正值表)
在本实施方式中,与捕获图像中的块区域对应的阴影校正值被保持在校正值表中。在此,将参照图14同时参照图13描述阴影校正表。
图14是示出本实施方式的捕获图像α中的与块区域Br相关联的校正值表t1中的每个存储区域的示图。在校正值表t1中,校正值与捕获图像α中的坐标信息相关联地被保持。具体地,本实施方式中的校正值表t1包括多个地址区域As。多个地址区域As的每个与通过将捕获图像α除以预定数量的像素(在该实例中,65536个像素)而获得的块区域Br的每相关联。在一个地址区域As中,保持与一个相关联的块区域Br相对应的阴影校正值。即,在一个地址区域As中,校正值与捕获图像α中包括预定数量的像素坐标(在该实例中,与65536个像素对应的图像数据的像素坐标)的一个块区域Br相关联地保持。
如图14所示,在该实例中,校正值表t1包括分别与捕获图像α的54个坐标区域相关联的54个地址区域As。地址区域As是能够保持阴影校正值的存储区域。在此实例的校正值表t1中,将具有从0至53的序列号的地址与54个地址区域As相关联。地址值“0”是表示对应于捕获图像α中的左上端部处的块区域Br的地址区域As的地址值,并且地址值“53”是表示对应于捕获图像α中的下端部处的块区域Br的地址区域As的地址值。
校正值表t1的每个存储区域对应于捕获图像α中的一个块区域Br,即,对应于65536个像素=256(像素)×256(像素)的像素坐标。因此,与位于捕获图像α的54个块区域Br中的每个像素坐标对应的一个校正值被保持在校正值表t1的每个存储区域中。即,地址区域As中的一个阴影校正值对应于块区域Br中的多个(在此实例中为65536个像素)像素坐标,并且阴影校正值和像素坐标具有一对多的关系。
例如,如图14所示,校正值表t1中的地址值“0”至“8”的九个地址区域As与位于捕获图像α中的上部外围部分中的九个块区域Br对应。更具体地,具有地址值“0”的存储区域对应于包括捕获图像α的原点α_o的块区域Br。因此,例如,具有地址值“0”的存储区域中保存的阴影校正值用于放大包括所捕获图像α的原点α_o的块区域Br中的每个像素的亮度。
如上所述,在本实施方式的阴影校正处理中,基于捕获图像中的感兴趣区域的坐标信息,使用从校正值表获取的阴影校正值,放大感兴趣区域的图像数据的亮度。具体地,从校正值表中获取与感兴趣区域的图像数据的各个像素的坐标对应的阴影校正值,并且针对感兴趣区域的图像数据的各个像素调整亮度。
这里,将参考图15描述感兴趣区域ROI0至ROI2的多条图像数据的阴影校正处理。为了容易理解,图15示出捕获图像α中的54个块区域Br和与各个块区域Br对应的校正值表t1的地址区域As。此外,图15示出了块区域Br和地址区域As与感兴趣区域ROI0至ROI2之间的关联。
在该实例中,在对感兴趣区域ROI0的图像数据进行阴影校正处理的情况下,基于捕获图像α中的感兴趣区域ROI0的坐标信息、即感兴趣区域ROI的相对坐标,确定感兴趣区域ROI的每个像素属于哪个块区域Br。在确定每个像素所属的块区域Br的情况下,导出对应于块区域Br的校正值表t1的地址值。然后,从与所导出的地址值相关联的地址区域As获取与块区域Br对应的阴影校正值,并且通过使用所获取的阴影校正值针对每个像素放大感兴趣区域ROI0的图像数据的亮度。结果,通过使用与块区域Br对应的阴影校正值来进行感兴趣区域ROI0的各像素的图像数据的阴影校正处理。
如图15所示,在校正值表t1中,在六个块区域Br上布置感兴趣区域ROI0的图像数据。六个块区域Br对应于分别对应于地址值“1”、“2”、“10”、“11”、“19”和“20”的六个地址区域As。因此,将这六个地址区域As中保持的阴影校正值用于与感兴趣区域ROI0的图像数据有关的阴影校正处理。
在感兴趣区域ROI0的图像数据的阴影校正处理中,生成感兴趣区域ROI0的图像数据的各像素的相对坐标(像素坐标)。然后,确定所生成的像素坐标所属的块区域Br,并且然后导出与所确定的块区域Br相对应的校正值表t1的地址值。如上所述,捕获图像α中的块区域Br与指示校正值表t1的地址区域的地址值一对一地相关联。因此,通过生成感兴趣区域ROI0的图像数据的像素坐标,并判断该像素坐标属于捕获图像α中的哪个块区域Br,能够导出与感兴趣区域ROI0的图像数据的各像素坐标对应的校正值表t1的地址值。
此外,例如,可以使用用于将捕获图像α中的每个坐标区域中的坐标转换成校正值表t1的每个存储区域的地址值的转换表(未示出)来获取与感兴趣区域ROI0的图像数据的每个像素坐标相对应的校正值表t1的地址值。
例如,假设在阴影校正处理中生成的感兴趣区域ROI0的图像数据的像素坐标是属于与校正值表t1中的地址值“1”对应的块区域Br的坐标。在这种情况下,通过使用保持在具有校正值表t1中的地址值“1”的地址区域As中的阴影校正值,放大与感兴趣区域ROI0中的像素坐标对应的图像数据的亮度。类似地,在包括在对应于校正值表t1中的地址值“2”的块区域Br中的像素坐标被生成的情况下,对应于像素坐标的图像数据的亮度通过使用保持在对应于地址值“2”的地址区域As中的阴影校正值被放大。此外,同样在所生成的感兴趣区域ROI0的图像数据的像素坐标包括在对应于校正值表t1的地址值“10”、“11”、“19”和“20”的块区域Br中的情况下,类似地,通过使用保持在具有相应地址值的地址区域As中的阴影校正值,放大对应于每个像素坐标的图像数据的亮度。
对于捕获图像α中的感兴趣区域ROI1和ROI2,类似地,基于作为图像数据的每个像素的相对坐标的像素坐标所属的块区域Br,导出校正值表t1的地址值,并且通过使用保持在与导出的地址值相关联的地址区域As中的阴影校正值,放大对应于像素坐标的每个像素的图像数据的亮度。即,感兴趣区域ROI1的图像数据被布置在对应于校正值表t1的地址区域As中的六个地址值“14”、“15”、“23”、“24”、“32”和“33”的块区域Br上。因此,对于感兴趣区域ROI1的各像素的图像数据,通过使用由与六个地址值中的任一个相关联的地址区域As所保持的阴影校正值,来放大亮度。基于像素坐标所属的块区域Br导出对应于每个像素坐标的地址值。此外,对于感兴趣区域ROI2的图像数据,类似地,通过使用与四个地址值“39”、“40”、“48”和“49”中的任一个相关联的地址区域As中保持的阴影校正值,亮度被放大。
注意,如上所述,捕获图像的外围部分具有比中心部分的亮度低的亮度。因此,在与捕获图像α的上外围部分中的块区域Br对应的校正值表t1中的地址0至8的地址区域As、与下外围部分中的块区域Br对应的地址值45至53的地址区域As、与左外围部分中的块区域Br对应的地址值9、18、27和36的地址区域As、以及与右外围部分中的块区域Br对应的地址值17、26、35和44的地址区域As中保持相对较大的阴影校正值。因此,在使用与周边部分的坐标区域对应的校正值的情况下,感兴趣区域的图像数据的亮度的放大程度增加。因此,例如,可以将布置在捕获图像α的外围部分中的感兴趣区域ROI(例如,感兴趣区域ROI0和ROI2)的图像数据的亮度放大至与捕获图像α的中心部分中的图像数据的亮度相似的亮度。
此外,在与对应于捕获图像α的中心部分中的块区域Br的校正值表t1的地址值21至23和30至32相关联的地址区域As中保持相对较小的阴影校正值。因此,在使用对应于中心部分中的块区域Br的阴影校正值的情况下,减小感兴趣区域的图像数据的亮度的放大程度。结果,能够抑制捕获图像α的中央部的图像数据的亮度与周围部的图像数据的亮度之差增大,能够使捕获图像α内的图像数据的亮度均匀。注意,保持在对应于中心部分中的块区域Br的地址区域As中的阴影校正值可以被设置为“0”或接近于“0”的值,使得亮度基本上不被放大。
注意,例如,小于对应于周边部分中的块区域Br的地址区域As的阴影校正值,并且大于对应于中心部分中的块区域Br的地址区域As的阴影校正值,可以被保持在对应于除捕获图像α的周边部分和中心部分中的那些之外的块区域Br的地址区域As中。如上所述,与捕获图像α的每个块区域Br对应的阴影校正值被保存在校正值表t1中。
此外,保持阴影校正值的校正值表t1的每个地址区域As与捕获图像α的每个块区域Br一一对应。因此,在感兴趣区域ROI0至ROI2的图像数据的阴影校正处理中,生成各感兴趣区域的图像数据的各像素的坐标(像素坐标),并且确定所生成的像素坐标所属的块区域Br,由此能够导出与块区域Br对应的校正值表t1的地址值。因此,可以获得对应于块区域Br的阴影校正值。因此,可以对感兴趣区域ROI0至ROI2的图像数据的各像素进行使用与捕获图像α中的块区域Br对应的阴影校正值的亮度放大。以这种方式,在本实施方式中,可以通过阴影校正处理适当地调整感兴趣区域ROI0至ROI2中的每一个的图像数据的亮度。
4.实施方式一:
接下来,将参照图13至图15和图16至图18描述根据本公开的第一实施方式的发送装置、接收装置和传输系统。首先,将参考图16描述根据本实施方式的发送装置、接收装置以及传输系统的示意性配置。图16是示出视频传输系统10的配置的实例的框图。根据本实施方式的视频传输系统10包括视频发送装置3和视频接收装置200。例如,与根据上述基础技术1和2的视频传输系统1相似,视频传输系统10被配置为根据MIPICSI-3标准或MIPIDSI标准在视频发送装置3与视频接收装置200之间执行信号的发送和接收。
由于包括在视频传输系统10中的视频接收装置200是实现与上述基础技术1和2中的视频接收装置200的操作和功能相同的操作和功能的组件,所以给出相同的附图标记并省略其描述。
包括在视频传输系统10中的视频发送装置3被配置为实现与根据上述基础技术1和2的视频发送装置100的功能相当的功能。即,视频发送装置3被配置为在从预定的外部装置(例如,视频接收装置200)输入用于指示感兴趣区域的切割的控制信号的情况下,能够对从图像传感器装置30输入的捕获图像执行与由视频发送装置100所执行的处理类似的处理。视频发送装置3与根据上述基础技术1和2的视频发送装置100的不同之处在于视频发送装置3被配置为能够执行上述阴影校正处理。
此外,在从视频接收装置200输入用于指示输出正常图像的控制信号的情况下,视频发送装置3被配置为能够对从图像传感器装置30输入的捕获图像执行与由视频发送装置100执行的处理类似的处理。此处,图16主要示出了与视频发送装置3中的阴影处理相关的部件。因此,图16中未示出用于进行与正常图像相关的处理的组件。
根据本实施方式的视频发送装置3与规定的时钟信号同步地进行该装置中的各处理。因此,通过基于时钟信号执行处理,各部件所执行的处理可以彼此结合(例如,同步)。
如图16所示,视频发送装置3包括对对象进行成像的图像传感器装置30,以及进行捕获图像的预定处理和图像数据发送处理的发送处理单元31。图像传感器装置30是与根据上述基础技术1和2的视频发送装置100的成像单元110相似的部件。图像传感器装置30包括例如电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器,并且将通过光学透镜等获得的光学图像信号转换成数字图像数据。图像传感器装置30将通过成像获得的捕获图像(例如,捕获图像α)输出至发送处理单元31(具体地,图像处理电路300)。
发送处理单元31包括图像处理电路(发送装置中的处理单元的实例)300和图像发送单元330。图像处理电路300是对应于根据上述基础技术1和2的视频发送装置100的图像处理单元120的组件,并且是对从成像单元(图像传感器装置30)输入的捕获图像执行预定处理的电路。此外,图像发送单元330是对应于根据上述基础技术1和2的视频发送装置100的发送单元140的部件,并且是基于从图像处理电路300输入的各种数据(120A、120B、120C等)生成和发送传输数据347A的电路。在本实施方式中,发送处理单元31被配置为IC芯片。
感兴趣区域指定信息90A与来自外部装置(例如,视频接收装置200)的用于指示切割感兴趣区域的控制信号一起作为关于要被切割的感兴趣区域的设置的信息被输入到图像处理电路300。感兴趣区域指定信息90A是例如表示捕获图像中的位置和大小的信息。感兴趣区域指定信息90A被输入到包括在图像处理电路300中的图像处理控制单元126、校正电路301(具体地,ROI图像坐标信息生成单元311)和ROI切割单元303。
具体地,感兴趣区域指定信息90A包括关于捕获图像中的感兴趣区域的相对坐标的信息(坐标信息)作为位置信息。坐标至少包括感兴趣区域的左上端部分的坐标(起始点坐标)。注意,在本实施方式中,位置信息不限于起始点坐标,并且可以包括感兴趣区域的右下端部分的坐标(结束点坐标)。在本公开中的位置信息可以是指示在感兴趣区域具有矩形形状的情况下的四个角中的任一个的坐标。此外,大小信息包括感兴趣区域ROI在X轴方向上的大小和感兴趣区域ROI在Y轴方向上的大小。在该实例中,关于捕获图像α中的感兴趣区域ROI0到ROI2的感兴趣区域指定信息90A包括三个感兴趣区域ROI0到ROI2中的每一个的位置信息和大小信息。
图像处理电路300包括图像处理控制单元126、校正电路301、ROI切割单元303和编码单元305。图像处理控制单元126具有与上述基础技术1和2中的图像处理单元120的图像处理控制单元126的配置相同的配置。在本实施方式中,图像处理控制单元126基于感兴趣区域指定信息90A来生成ROI信息120B和帧信息120C,并且将ROI信息120B和帧信息120C发送到图像发送单元330。此外,图像处理控制单元126将输入的感兴趣区域指定信息90A输出到编码单元305和编码单元305。
根据本实施方式的视频发送装置3的图像处理电路300中的校正电路301执行上述阴影校正处理。校正电路301基于捕获图像中的感兴趣区域(ROI)的坐标信息对感兴趣区域的图像数据进行阴影校正处理。校正电路301根据感兴趣区域的左上端部的坐标,生成捕获图像中的感兴趣区域的图像数据的各像素的坐标,根据生成的各像素的坐标,对感兴趣区域的图像数据的各像素的亮度进行放大。因此,对感兴趣区域的图像数据执行阴影校正。校正电路301包括ROI图像坐标信息生成单元311、校正值表RAM 312和校正单元313。校正值表RAM 312保持用于阴影校正处理的阴影校正值。校正电路301利用这些部件执行与阴影校正处理有关的每个处理。稍后将描述校正电路301的每个部件的细节。
ROI切割单元303是与上述基础技术1和2中的图像处理单元120的ROI切割单元121相同的组件。ROI切割单元303在从成像单元(图像传感器装置30)输入的捕获图像中设置感兴趣区域ROI。ROI切割单元303例如基于感兴趣区域指定信息90A从成像单元(图像传感器装置30)输入的捕获图像(例如,捕获图像α)中切割感兴趣区域(ROI)。在本实施方式中,ROI切割单元303将从捕获图像切割的感兴趣区域的图像数据输出到校正电路301(具体地,校正单元313)。ROI切割单元303例如与上述时钟信号同步地以像素为单位将感兴趣区域的图像数据输出至校正电路301。
编码单元305是与上述基础技术1和2中的图像处理单元120的编码单元125等同的组件。编码单元305对在校正电路301中受到阴影校正处理的感兴趣区域的图像数据进行编码,以生成压缩图像数据120A。编码单元305将生成的压缩图像数据120A输出到图像发送单元330(具体地,稍后将描述的ROI数据缓冲器345)。
(校正电路的细节)
ROI图像坐标信息生成单元311生成切割的感兴趣区域(ROI)的图像数据的每个像素的相对坐标(像素坐标)。在本实施方式中,ROI图像坐标信息生成单元311通过使用计数器来生成感兴趣区域的图像数据的像素坐标。在本实施方式中,图像处理电路300包括用于各种类型的测量处理的计数器单元。在本实施方式中,校正电路301包括水平计数器Xct和垂直计数器Yct作为计数器单元。
水平计数器(第一计数器的实例)Xct是测量捕获图像中的X轴方向上的感兴趣区域的图像数据的每个像素的位置(水平位置)的计数器。水平计数器Xct的计数值对应于捕获图像(例如,捕获图像α)中的X坐标。在本实施方式的视频发送装置3中,水平计数器Xct从感兴趣区域的左上端部的坐标(左上端部的像素坐标)开始测量捕获图像中的感兴趣区域的X坐标。
此外,垂直计数器(第二计数器的实例)Yct是测量捕获图像中的Y轴方向上的感兴趣区域的图像数据的每个像素的位置(垂直位置)的计数器。垂直计数器Yct的值对应于捕获图像中的Y坐标,并且指示捕获图像中的像素行的位置。在根据本实施方式的视频发送装置3中,垂直计数器Yct从感兴趣区域的左上端部的坐标(左上端部的像素坐标)开始测量捕获图像中的感兴趣区域的Y坐标。例如,在水平计数器Xct和垂直计数器Yct两者的值为“0”的情况下,指示捕获图像中的原点α像中(0,0)。
应注意,如果水平计数器Xct和垂直计数器Yct被设置成能够从ROI图像坐标信息生成单元311执行与计数值相关的控制(参考计数值、重置计数值等)就足够了。因此,水平计数器Xct和垂直计数器Yct的安装位置不限于校正电路301的内部,并且例如可以是图像处理电路300中的任何位置。此外,水平计数器Xct和垂直计数器Yct被配置为能够将计数值重置为由ROI图像坐标信息生成单元311设置的任意值。
校正电路301中的ROI图像坐标信息生成单元311通过使用水平计数器Xct和垂直计数器Yct生成感兴趣区域的图像数据的每个像素的坐标。这里,将参考图17描述像素坐标生成处理(像素坐标生成处理方法)的流程的实例。图17是示出了根据本实施方式的视频发送装置3中的像素坐标生成处理的流程的实例的流程图。
(步骤S101)
在包括在视频发送装置3中的校正电路301中,ROI图像坐标信息生成单元311确定是否已经开始图像数据帧。在本实施方式中,像素坐标生成处理中的图像数据帧的开始表示已经从视频接收装置200发送了感兴趣区域指定信息90A。在该实例中,ROI图像坐标信息生成单元311在已经传输感兴趣区域的感兴趣区域指定信息90A(在这个实例中,感兴趣区域ROI0到ROI2)的情况下确定图像数据帧已经开始,并且进行到步骤S102。另一方面,在未传输感兴趣区域指定信息90A的情况下,ROI图像坐标信息生成单元311确定图像数据帧尚未开始,并且以预定间隔重复步骤S101的处理,直到传输感兴趣区域指定信息90A为止。
(步骤S102)
ROI图像坐标信息生成单元311提取感兴趣区域的位置信息,并且进行到步骤S103。具体地,ROI图像坐标信息生成单元311从感兴趣区域指定信息90A中提取捕获图像α中的每个感兴趣区域的坐标信息作为每个感兴趣区域ROI0到ROI2的位置信息。坐标信息至少包括感兴趣区域(在该实例中的感兴趣区域ROI0到ROI2)的起始点坐标(左上端部的像素坐标)。
(步骤S103)
ROI图像坐标信息生成单元311将捕获图像中的最接近原点的感兴趣区域的起始点坐标设置为像素坐标生成处理中的参考坐标,并且进行到步骤S104。具体地,ROI图像坐标信息生成单元311基于最接近原点的感兴趣区域的起始点坐标重置水平计数器Xct和垂直计数器Yct的计数值。重置表示将计数值设置为任意值的处理。
这里,将描述基准坐标的确定。一旦在步骤S103中从感兴趣区域指定信息90A中提取针对多个感兴趣区域的多条坐标信息,则ROI图像坐标信息生成单元311以起始点坐标的Y坐标的值(感兴趣区域的左上端部的像素坐标)的升序重新排列所提取的各条坐标信息以生成Y坐标顺序数据。Y坐标顺序数据包括从起始点坐标的Y坐标计算的终点Y坐标(感兴趣区域的右下端部分的像素坐标)和表示在Y轴方向上的大小的像素的数量。通过“起始点Y坐标的值+Y轴方向的大小(-1)”计算终点Y坐标。例如,在基于输入的一条感兴趣区域指定信息90A执行一系列阴影校正处理期间,可以将生成的Y坐标顺序数据保持在预定寄存器中。
ROI图像坐标信息生成单元311将Y坐标的值在Y坐标顺序数据中最小的感兴趣区域的起始点坐标确定为参考坐标。一旦确定了参考坐标,ROI图像坐标信息生成单元311将水平计数器Xct的计数值重置为参考坐标的X坐标的值,并且将垂直计数器Yct的计数值重置为参考坐标的Y坐标的值。
在这个实例中,在捕获图像α中(参见图13),最接近原点的感兴趣区域是感兴趣区域ROI0。因此,将表示感兴趣区域ROI0的左上端部的起始点Pr0的坐标(R0X,R0Y)确定为参考坐标。因此,在步骤S103中,水平计数器Xct的计数值被重置为“R0X”,并且垂直计数器Yct的计数值被重置为“R0Y”。以这种方式,产生感兴趣区域的图像数据的像素坐标。
(步骤S104)
ROI图像坐标信息生成单元311从水平计数器Xct的当前计数值和垂直计数器Yct的当前计数值生成像素坐标,并且进行到步骤S105。如稍后将详细描述的,基于在此生成的像素坐标,导出校正值表t1的地址。因此,从与地址值相关联的地址区域As(见图14)获取阴影校正值。
(步骤S105)
ROI图像坐标信息生成单元311获取与时钟信号同步地更新(增加1)的水平计数器Xct的计数值,并且进行到步骤S106。
(步骤S106)
ROI图像坐标信息生成单元311确定水平计数器Xct的更新的计数值是否超过指示感兴趣区域的X坐标的右端(即,感兴趣区域的图像数据中的一个像素行(行)的端部)的值。在该实例中,指示感兴趣区域ROI0的预定像素行的右端的坐标Mr0的X坐标(参见图13)具有通过将X坐标的起始点(R0X)增加(加1)为“X轴方向上的长度R0W-1”的像素数而获得的值“R0X+(R0W-1)”。在确定水平计数器Xct的计数值超过与感兴趣区域(例如,感兴趣区域ROI0)的X坐标的末端对应的值的情况下,ROI图像坐标信息生成单元311进行至步骤S107。另一方面,在确定水平计数器Xct的计数值不超过与感兴趣区域(例如,感兴趣区域ROI0)的X坐标的末端对应的值的情况下,ROI图像坐标信息生成单元311返回至步骤S104。注意,在多个感兴趣区域被布置为彼此重叠在一行上的情况下,在步骤S106中,ROI图像坐标信息生成单元311确定是否超过指示彼此重叠布置的所有感兴趣区域的末端的值。
(步骤S107)
ROI图像坐标信息生成单元311确定在与由捕获图像中的垂直计数器Yct的当前计数值指示的Y坐标的行(像素行)相同的行(像素行)中是否存在除了作为当前像素坐标的目标的感兴趣区域之外的感兴趣区域。ROI图像坐标信息生成单元311确定在与由捕获图像中的垂直计数器Yct的当前计数值指示的Y坐标的行相同的行(像素行)中是否存在另一感兴趣区域。例如,ROI图像坐标信息生成单元311通过参考Y坐标顺序数据确定是否存在包括垂直计数器Yct的当前计数值的另一感兴趣区域。在确定在与确定是否存在另一感兴趣区域相同的行中存在另一感兴趣区域的情况下,ROI图像坐标信息生成单元311进行至步骤S108。
这里,在与由垂直计数器Yct的计数值所指示的Y坐标的行相同的行上存在两个或更多个其他感兴趣区域的情况下,ROI图像坐标信息生成单元311将X坐标的起始点的值较小的感兴趣区域确定为感兴趣区域作为下一像素坐标生成目标(下一目标ROI)。另一方面,在确定在与由垂直计数器Yct的计数值指示的Y坐标的行相同的行中不存在下目标ROI区域的情况下,ROI图像坐标信息生成单元311进行至步骤S109。
使用通过以起始点坐标(感兴趣区域的左上端部的像素坐标)的X坐标的值的升序重新排列从感兴趣区域指定信息90A中提取的各条坐标信息而获得的X坐标顺序数据来确定下一个目标ROI。例如,在步骤S103中,如果ROI图像坐标信息生成单元311生成X坐标顺序数据以及Y坐标顺序数据,那么这是足够的。X坐标顺序数据包括根据起始点坐标的X坐标和表示在X轴方向上的大小的像素的数量计算的结束点X坐标(感兴趣区域的各个像素行的右端部分的像素坐标)。此外,X坐标顺序数据可以包括包含在Y坐标顺序数据中的起始点坐标和终点Y坐标的Y坐标。通过“起始点X坐标的值+X轴方向上的大小(-1)”计算终点X坐标。类似于Y坐标顺序数据,例如,在基于输入的一条感兴趣区域指定信息90A执行一系列阴影校正处理期间,可以将生成的X坐标顺序数据保持在预定寄存器中。ROI图像坐标信息生成单元311通过参考X坐标顺序数据,在同一行上的感兴趣区域ROI之中按照起始点X坐标的升序确定下一个目标ROI。
在该实例中,例如,在步骤S107中,在水平计数器XCnt的计数值超过指示感兴趣区域ROI0的预定像素行的右端的坐标Mr0的值的情况下,ROI图像坐标信息生成单元311确定在与坐标Mr0的Y坐标的行相同的行中是否存在另一感兴趣区域。如图13所示,在与坐标Mr0相同的行中存在感兴趣区域ROI1。因此,ROI图像坐标信息生成单元311确定存在另一感兴趣区域(在该实例中为感兴趣区域ROI1)并且进行到步骤S108。另一方面,例如,在直至感兴趣区域ROI0的顶部像素行的末端的像素坐标的生成已经结束的情况下,ROI图像坐标信息生成单元311确定在与感兴趣区域ROI0的顶部像素行的末端(右端)的坐标的Y坐标的行相同的行中不存在其他感兴趣区域,并且进行到步骤S109。
(步骤S108)
ROI图像坐标信息生成单元311将水平计数器Xct的计数值重置为另一感兴趣区域的起始点(左端部分)的X坐标,并且返回至步骤S104。具体地,ROI图像坐标信息生成单元311将水平计数器Xct的计数值重置为作为下一个像素坐标生成目标的感兴趣区域(下一个目标ROI)的起始点坐标的X坐标的值。结果,从作为下一像素坐标生成目标的感兴趣区域的像素行的头部像素开始像素坐标的生成。例如,在作为下一个像素坐标生成目标的感兴趣区域是感兴趣区域ROI1的情况下,水平计数器Xct的计数值被重置为起始点Pr0的坐标(R0X,R0Y)的X坐标的值“R1X”。
如上所述,在像素坐标生成处理中,ROI图像坐标信息生成单元311将水平计数器Xct的计数值更新为不连续值。即,水平计数器Xct是能够执行对不连续值的更新的计数器。
(步骤S109)
ROI图像坐标信息生成单元311确定在捕获图像中的下一行(像素行)中是否存在感兴趣区域的图像数据。具体地,ROI图像坐标信息生成单元311将垂直计数器Yct的计数值更新为通过增加1获得的值,并且确定在由更新的值指示的捕获图像中的Y坐标处是否存在感兴趣区域的图像数据。在通过参考Y坐标顺序数据确定在由垂直计数器Yct的更新的计数值指示的Y坐标处存在感兴趣区域的图像数据的情况下,ROI图像坐标信息生成单元311进行至步骤S110。另一方面,在确定在由垂直计数器Yct的更新的计数值指示的Y坐标处不存在感兴趣区域的图像数据的情况下,ROI图像坐标信息生成单元311进行至步骤S111。
(步骤S110)
ROI图像坐标信息产生单元311通过参考X坐标顺序数据将水平计数器XCnt的计数值重置为下一行(像素行)中的最左感兴趣区域的起始点X坐标的值,并进行到步骤S104。具体地,ROI图像坐标信息生成单元311通过参考X坐标顺序数据获取在步骤S109中更新的垂直计数器Yct的计数值在Y坐标处的感兴趣区域中最小的起始点X坐标,并且将水平计数器XCnt的计数值重置为起始点X坐标。结果,从所捕获图像中的下一行中的最左边的感兴趣区域开始生成像素坐标。
(步骤S111)
ROI图像坐标信息生成单元311确定在捕获图像中在下一行(像素行)下方是否存在感兴趣区域(作为下一像素坐标生成目标的下一目标ROI)。具体地,ROI图像坐标信息生成单元311通过参考Y坐标顺序数据确定是否存在低于由在步骤S109中更新的垂直计数器Yct的计数值指示的Y坐标的下一目标ROI。在确定在下一行下方存在下一目标ROI的情况下,ROI图像坐标信息生成单元311进行至步骤S112。另一方面,在确定下一行下方不存在下一目标ROI的情况下,ROI图像坐标信息生成单元311确定已经生成捕获图像中的所有感兴趣区域的多条图像数据的像素坐标,并且结束像素坐标生成处理。
(步骤S112)
ROI图像坐标信息生成单元311重置垂直计数器Yct的计数值和水平计数器Xct的计数值,并且返回至步骤S104。具体地,ROI图像坐标信息生成单元311通过参考Y坐标顺序数据将垂直计数器Yct的计数值重置为下一个目标ROI的起始点坐标的Y坐标的值。另外,ROI图像坐标信息产生单元311通过参考X坐标顺序数据,将水平计数器XCnt的计数值重置为下一个目标ROI的起始点坐标的X坐标的值。结果,能够生成在捕获图像中在Y轴方向上间隔设置的多个感兴趣区域的图像数据的全部的像素坐标。
在该实例中,假设生成像素坐标直至感兴趣区域ROI1的终点坐标(右下端部的像素的坐标),并且作为下一个像素坐标生成目标的感兴趣区域是感兴趣区域ROI2。在这种情况下,ROI图像坐标信息产生单元311将水平计数器XCnt的计数值重置为感兴趣区域ROI2的起始点Pr2的坐标(R2X,R2Y)的X坐标的值“R2X”,并将垂直计数器Yct重置为Y坐标的值“R2Y”。结果,可以从感兴趣区域ROI1之后的感兴趣区域ROI2的起始点(左上端部)的像素的像素坐标开始生成。
在像素坐标生成处理的步骤S112中,ROI图像坐标信息生成单元311将垂直计数器Yct的计数值更新为不连续值。即,垂直计数器Yct是可以执行到不连续值的更新的计数器。在本实施方式中,ROI图像坐标信息产生单元311可通过使用水平计数器XCnt和垂直计数器Yct产生包括在捕获图像(在此实例中是捕获图像α)中的多个感兴趣区域(ROI)的多条图像数据的每个像素的坐标。
上面已经参照图17描述了像素坐标生成处理。如上所述,校正电路301中所包括的ROI图像坐标信息生成单元311通过至少使用感兴趣区域的左上端部的坐标(起始点坐标)作为坐标信息来生成像素坐标。更具体地,ROI图像坐标信息生成单元311通过使用感兴趣区域的起始点坐标和大小信息来生成Y坐标顺序数据和X坐标顺序数据,并且生成感兴趣区域的图像数据的像素坐标。
ROI图像坐标信息生成单元311在每次生成像素坐标时基于所生成的像素坐标导出校正值表t1的地址值。具体地,ROI图像坐标信息生成单元311指定所生成的像素坐标属于的捕获图像中的块区域Br(参见图15)。一旦导出与指定的块区域Br相关联的地址值,ROI图像坐标信息生成单元311获取保持在与导出的地址值相关联的地址区域中的阴影校正,并且将阴影校正输出到校正单元313。
校正电路301中包括的校正单元313基于通过ROI图像坐标信息生成单元311的坐标信息,通过使用从校正值表t1获取的阴影校正值,放大感兴趣区域(ROI)的图像数据的亮度。具体地说,在校正电路301中,ROI图像坐标信息生成单元311从校正值表t1取得与感兴趣区域的图像数据的各像素的坐标(像素坐标)对应的阴影校正值,校正部313使用所取得的阴影校正值,针对感兴趣区域的图像数据的各像素进行灵敏度调整。
校正单元313将从ROI切割单元303输入的感兴趣区域的每个像素的图像数据乘以从ROI图像坐标信息生成单元311输入的阴影校正值以放大亮度。结果,可以基于与捕获图像中的区域对应的阴影校正值,放大包括校正单元313的校正电路的感兴趣区域的每个像素的图像数据的亮度。因此,包括校正电路301的视频发送装置3通过阴影校正处理,能够将感兴趣区域的图像数据的亮度放大到捕获图像中与该区域对应的程度,以使亮度均匀。
校正电路301将作为进行阴影校正处理的感兴趣区域的图像数据的校正图像数据313A输出至编码单元305。如上所述,编码单元305将校正图像数据303A输出到图像发送单元330。编码单元305以像素行为单位收集以像素为单位输入的感兴趣区域的图像数据,并产生一行(一个像素行)的传输图像。例如,编码单元305以与对应于X轴方向上的长度R0W的像素数对应的感兴趣区域ROI0的像素为单位收集图像数据,并且生成感兴趣区域ROI0的一个像素行的传输图像。编码单元305基于从图像处理控制单元126输入的感兴趣区域指定信息90A,以像素行(行)为单位,针对每个感兴趣区域生成传输图像。编码单元305将通过以符合JPEG标准的压缩格式等压缩传输图像而获得的压缩图像数据120A输出至图像发送单元330。
(图像发送单元)
图像发送单元330包括LINK控制电路341、ECC生成电路342、PH生成电路343、EBD缓冲器344、ROI数据缓冲器345、组合电路347和发送电路350。另外,图像发送单元330包括正常图像数据缓冲器(未示出)。
LINK控制电路341是与根据上述基础技术与视频发送装置100的LINK控制单元141等效的部件。对于每行,LINK控制电路341将从图像处理控制单元126输入的帧信息120C例如输出到ECC生成电路342和PH生成电路343。ECC生成电路342是与根据上述基础技术的视频发送装置100的ECC生成单元142等效的组件。ECC生成电路342基于例如帧信息中的一行的数据(例如,虚拟通道数量、感兴趣区域ROI1至ROI2中的每一个的数据类型、每行的有效载荷长度等)生成一个行的纠错码。ECC生成电路342将生成的纠错码输出到例如PH生成电路343。注意,ECC生成电路342可以将纠错码输出到组合电路347。
PH生成电路343是与根据上述基础技术的视频发送装置100的PH生成单元143等效的组件。PH生成电路343通过使用例如由ECC生成电路342生成的帧信息、感兴趣区域指定信息90A和纠错码来生成每行的分组报头PH(见图4)。另外,PH生成电路343可以将从图像处理控制单元126输入的感兴趣区域指定信息90A输出到ECC生成电路342。PH生成电路343将生成的分组报头PH输出到组合单元147。
EBD缓冲器344是与根据上述基础技术的视频发射装置100的EBD缓冲器144等效的组件。EBD缓冲器344主要存储由图像处理控制单元126生成的ROI信息,并在预定定时将ROI信息作为嵌入数据输出到组合电路347。
ROI数据缓冲器345是与根据以上描述的基础技术的视频发送装置100的ROI数据缓冲器145等效的组件。ROI数据缓冲器345主要存储从编码单元305输入的压缩图像数据120A,并且在预定定时将压缩图像数据120A作为长分组的有效载荷数据输出至组合电路347。
组合电路347是与根据上述基础技术的视频发送装置100的组合单元147等效的组件。组合电路347在经由照相机控制接口CCI从视频接收装置200输入了指示ROI的切割的控制信号的情况下,基于各种输入数据(分组报头PH、ROI信息120B、压缩图像数据120A)来生成传输数据347A。组合单元147将生成的传输数据147A输出到发送电路350。
包括在发送处理单元(发送单元的实例)31中的图像发送单元330的发送电路350通过数据通道DL将传输数据147A输出至视频接收装置200。具体地,发送电路350发送受到阴影校正处理的感兴趣区域(ROI)的图像数据作为有效载荷数据。结果,受到阴影校正处理的感兴趣区域的图像数据作为有效载荷数据与嵌入数据一起发送至视频接收装置200。
(发送装置中的阴影校正处理方法)
接下来,将参考图18同时参考图13至图17描述根据本实施方式的发送装置、接收装置以及传输系统中的阴影校正处理方法。图18是示出在根据本实施方式的能够执行阴影校正的发送装置、接收装置以及传输系统中的阴影校正处理方法的流程的实例的流程图。
一旦视频传输系统10被激活并且帧开始触发被输入,包括在视频接收装置200中的信息处理单元220(附图中的CamCPU)进行至步骤S21。
(步骤S21)
一旦视频传输系统10被激活并且帧开始触发被输入,包括在视频接收装置200中的信息处理单元220(附图中的CamCPU)就从视频发送装置3的图像传感器装置30的捕获图像中确定图像(感兴趣区域)被切割的切割位置,并且结束切割位置确定处理。具体地,一旦确定切割位置,则CamCPU发送用于指示切割的控制信号和感兴趣区域指定信息90A。感兴趣区域指定信息90A包括感兴趣区域的位置信息(坐标信息)和大小信息(X轴方向和Y轴方向上的大小)。通过利用使用MIPI的硬件(HW)的通信将控制信号和感兴趣区域指定信息90A从视频接收装置200发送至视频发送装置3。
(步骤S31)
一旦检测到切割位置指定触发,包括在视频发送装置3的发送处理单元31中的图像处理电路300(图中的传感器CPU)获取图像传感器装置30的捕获图像中的切割位置和大小,并且进行到步骤S32。具体地,图像处理电路300从图像处理控制单元126、校正电路301中的ROI图像坐标信息生成单元311以及ROI切割单元121中的感兴趣区域指定信息90A获取位置信息(感兴趣区域的坐标信息)和大小信息(X轴方向和Y轴方向上的大小)。
(步骤S32)
图像处理电路300通过ROI切割单元121基于感兴趣区域指定信息90A确定切割捕获图像中的感兴趣区域的切割位置,并且进行到步骤S33。一旦确定了切割位置,ROI切割单元121从捕获图像切割感兴趣区域的图像数据,并且以像素为单位将图像数据输出至校正电路301中的校正单元313。
(步骤S33)
图像处理电路300通过校正电路301的ROI图像坐标信息生成单元311生成感兴趣区域的图像数据的像素坐标,并且进行到步骤S34。具体地,ROI图像坐标信息生成单元311执行在图17中示出的像素坐标生成处理。ROI图像坐标信息生成单元311基于所生成的像素坐标指定感兴趣区域的每个像素的图像数据所属的捕获图像中的块区域Br(参见图15)。一旦指定了块区域Br,ROI图像坐标信息生成单元311导出对应于块区域Br的校正值表t1的地址值。ROI图像坐标信息生成单元311从校正值表t1的与地址值相关联的地址区域As获取阴影校正值,并且将阴影校正值输出至校正电路301的校正单元313。
(步骤S34)
图像处理电路300通过校正电路301的校正单元313对感兴趣区域的图像数据执行阴影校正,并且进行到步骤S35。具体地,校正单元313通过使用从ROI图像坐标信息生成单元311输入的阴影校正值,以从ROI切割单元121输入的像素为单位放大感兴趣区域的图像数据的亮度。校正单元313将作为受到阴影校正处理的感兴趣区域的图像数据的校正图像数据313A以像素为单位输出至编码单元305。
(步骤S35)
图像处理电路300通过校正电路301的校正单元313确定针对捕获图像中的所有感兴趣区域的多条图像数据是否已经完成阴影校正。具体地,图像处理电路300根据所有感兴趣区域的像素坐标的生成在ROI图像坐标信息生成单元311中是否已经结束来确定是否已经完成了所有感兴趣区域的阴影校正。在已生成捕获图像中所有感兴趣区域的多条图像数据的像素坐标的情况下(步骤S111中为否),图像处理电路300确定对捕获图像中所有感兴趣区域的多条图像数据完成了阴影校正,并且进入步骤S36。另一方面,在尚未生成捕获图像中所有感兴趣区域的多条图像数据的像素坐标的情况下(步骤S111中为是),图像处理电路300确定对捕获图像中所有感兴趣区域的多条图像数据尚未完成阴影校正,并且返回至步骤S33。
(步骤S36)
图像处理电路300通过图像处理控制单元126产生设置感兴趣区域的位置信息(坐标信息)和大小信息(X轴方向和Y轴方向上的大小)的ROI信息,并将ROI信息输出到图像发送单元330(具体地,EBD缓冲器344)。此外,图像处理单元300将通过压缩校正图像数据313A获得的压缩图像数据120A输出至图像发送单元330(具体地,ROI数据缓冲器345)。结果,图像发送单元330的组合电路347生成包含ROI信息的嵌入数据、以及包含受到阴影校正处理的感兴趣区域的图像数据的有效载荷数据作为传输数据347A。通过利用使用MIPI的硬件(HW)的通信经由发送电路350将生成的传输数据347A发送到视频接收装置200。
如上所述,一旦执行根据本实施方式的视频发送装置3的阴影校正处理,则受到阴影校正的感兴趣区域的图像数据被发送至视频接收装置200。因此,视频接收装置200可对受到阴影校正的感兴趣区域的图像数据执行各种类型的处理。
上面已经描述了在根据本实施方式的视频发送装置3中执行阴影校正处理的视频传输系统10。在本实施方式中,包括在传输系统10中的视频发送装置3包括:图像处理电路300,基于捕获图像中的感兴趣区域的坐标信息对感兴趣区域(ROI)的图像数据执行阴影校正处理;以及图像发送单元330,发送受到阴影校正处理的感兴趣区域的图像数据作为有效载荷数据。因此,传输系统10中的视频发送装置3可以对感兴趣区域的图像数据进行阴影校正处理。
根据本实施方式的视频发送装置3的图像处理电路300被配置为能够执行阴影校正处理的硬件。此外,根据本实施方式的视频发送装置3的图像发送单元330被配置为能够发送感兴趣区域ROI的图像数据的硬件。结果,视频发送装置3能够加快阴影校正处理和感兴趣区域的图像数据的传输处理,能够增加在传输系统10中每单位时间处理的图像数据帧数。即,可以实现以高帧速率执行的处理。
5.本公开的第二实施方式
接下来,将参照图13至图15以及图19和图20描述根据本公开的第二实施方式的发送装置、接收装置以及传输系统。首先,将参考图19描述根据本实施方式的发送装置、接收装置以及传输系统的示意性配置。图16是示出视频传输系统20的配置的实例的框图。本实施方式的视频传输系统20具有视频发送装置100以及视频接收装置4。例如,与根据上述基础技术1和2的视频传输系统1相似,视频传输系统20被配置为根据MIPICSI-3标准或MIPIDSI标准在视频发送装置100与视频接收装置4之间执行信号的发送和接收。
由于包括在视频传输系统20中的视频发送装置100是实现与上述基础技术1和2中的视频发送装置100的操作和功能相同的操作和功能的组件,因此给出相同的附图标记并省略其描述。
包括在视频传输系统20中的视频接收装置4被配置为实现与根据上述基础技术1和2的视频接收装置200的功能相同的功能。即,视频接收装置4被配置为能够对从视频发送装置100发送的传输数据执行与根据上述基础技术1和2的视频接收装置200类似的处理。此外,视频接收装置4被配置为能够通过使用从视频发送装置100发送的ROI信息来执行阴影校正处理。因此,图19主要示出了与视频接收装置4中的阴影校正处理有关的部件。
根据本实施方式的视频接收装置4包括接收单元210和信号处理单元(接收装置中的处理单元的实例)40。视频接收装置4中的接收单元210接收传输信号(在该实例中,传输数据147A),其中,从预定的捕获图像中切割的感兴趣区域(ROI)的图像数据包括在有效载荷数据中,并且与预定数量的感兴趣区域相对应的ROI信息包括在嵌入数据中。与基础技术1和2中的视频发送装置100相似,根据本实施方式的传输系统20中包括的视频发送装置100(见图18)将捕获图像111中的每个感兴趣区域(ROI)的图像数据作为长分组的有效载荷数据发送,并且将关于感兴趣区域的ROI信息120B作为嵌入数据发送。结果,已经接收从视频发送装置100发送的传输数据147A的装置(在该实例中的视频接收装置4)可以容易地从传输数据147A中提取每个感兴趣区域ROI的图像数据(ROI图像112)。
接收单元210是通过对接收到的传输数据147A实施预定处理而生成各种数据(214A、215A、215B)并输出到信号处理单元40的电路。在本实施方式中,一旦接收到表示与视频发送装置100之间的图像数据帧的通信开始的分组(SOF),则接收单元210将指示接收SOF的预定信号输出至信号处理单元40。
与上述基础技术1和2中的视频接收装置200相似,同样在视频接收装置4中,接收单元210包括例如报头分离单元211、报头解译单元212、有效载荷分离单元213、EBD解译单元214以及ROI数据分离单元215。其中,报头分离单元211和报头解译单元212具有与视频接收装置200的配置类似的配置,并且因此省略其描述。
EBD解译单元214基于从有效载荷分离单元213输入的包括在嵌入数据213A中的数据类型,确定包括在传输数据147A的有效载荷数据中的图像数据是ROI的图像数据(基础技术1和2中的感兴趣区域的图像数据116的压缩图像数据120A)还是正常图像的数据(压缩图像数据130A)。此外,EBD解译单元214将数据类型确定结果输出至ROI数据分离单元215。此外,EBD解译单元214将包括ROI信息(表示感兴趣区域的图像数据包括在有效载荷数据中)的嵌入数据输出到信号处理单元40(具体地,信息提取单元401)作为EBD数据214A。
在基于来自EBD解译单元214的数据类型确定结果确定包括在传输数据147A的有效载荷数据中的图像数据是感兴趣区域的图像数据(图像数据116的压缩图像数据120A)的情况下,ROI数据分离单元215将有效载荷数据的每行作为有效载荷数据215A输出至每行的信号处理单元40(具体地,ROI解码单元402)。有效载荷数据215A包括ROI像素行数据,该ROI像素行数据是压缩图像数据147B的一行的像素数据。在此,ROI像素行数据表示捕获图像(例如,捕获图像α)中的以Y轴坐标(以像素行为单位)为单位的感兴趣区域的图像数据。
在本实施方式中,例如,以构成与视频发送装置100发送的传输数据147A相关的图像数据帧的交易为单位,将有效载荷数据的每行发送至视频接收装置4。当在接收单元210的报头解析部212中检测到长分组的有效载荷数据的各行的报头时,在载荷分离部213中从分组区域R2中分离各行的有效载荷数据,在ROI数据分离部215中生成包含各行的有效载荷报头PH、ROI像素行数据以及有效载荷脚注PF的有效载荷数据215A。
另一方面,在有效载荷数据中包含的图像数据是作为正常图像的数据的压缩图像数据130A的情况下,ROI数据分离单元215将有效载荷数据作为有效载荷数据215B输出至第一信息处理单元230a(具体地,正常图像解码单元236)。此外,ROI数据分离单元215将从EBD解译单元214输入的数据类型确定结果(表示图像数据是正常图像的数据的确定结果)输出至信号处理单元40(具体地,正常图像坐标信息生成单元404)。
信号处理单元40被配置为实现等同于根据上述基础技术1和2的视频接收装置200的信息处理单元220的功能的功能。即,信号处理单元40是根据从接收单元210接收到的各种数据(214A、215A)生成ROI图像223A、并且根据从接收单元210接收到的数据(215B)生成正常图像224A的电路。
信号处理单元40是基于从对应于从嵌入数据中提取的感兴趣区域(ROI)的ROI信息中提取的感兴趣区域的坐标信息,对感兴趣区域的图像数据执行阴影校正处理的电路。此外,信号处理单元40还对正常图像的数据(有效载荷数据215B)执行阴影校正处理。
信号处理单元40包括信息提取单元401、ROI解码单元402、ROI图像生成单元403以及校正处理单元410,作为与感兴趣区域的图像数据的阴影校正处理有关的部件。首先,将描述用于对感兴趣区域的图像数据执行阴影校正处理的这些组件。
信号处理单元40所包含的信息提取部401从EBD数据214A所包含的嵌入数据中提取ROI信息120B。ROI信息120B包括作为位置信息的捕获图像中的感兴趣区域的相对坐标的信息(坐标信息)。此外,ROI信息120B包括X轴方向和Y轴方向上的感兴趣区域ROI的大小作为大小信息。
具体地,信息提取单元401至少从ROI信息120B的位置信息提取感兴趣区域ROI的左上端部的坐标作为感兴趣区域的坐标信息。在该实例中,关于捕获图像α中的感兴趣区域ROI0到ROI2的ROI信息120B包括三个感兴趣区域ROI0到ROI2中的每一个的位置信息(坐标信息)和大小信息。因此,信息提取单元401提取捕获图像α中的三个感兴趣区域ROI0至ROI2中的每一个的起始点坐标作为坐标信息,并且提取X轴方向和Y轴方向上的感兴趣区域ROI0至ROI2中的每一个的长度作为大小信息。
注意,ROI信息120B的位置信息不限于感兴趣区域ROI的左上端部的坐标(起始点坐标),并且可以包括感兴趣区域的右下端部的坐标(结束点坐标)。在本公开中的位置信息可以是指示在感兴趣区域具有矩形形状的情况下的四个角中的任一个的坐标。
信息提取单元401从所提取的ROI信息(坐标信息和大小信息)生成第一实施方式中的Y坐标顺序数据和X坐标顺序数据,并且将Y坐标顺序数据和X坐标顺序数据输出到校正处理单元410(具体地,ROI图像坐标信息生成单元411)和ROI图像生成单元403。一旦从ROI信息120B提取针对多个感兴趣区域的多条坐标信息,信息提取单元401就按照起始点坐标的Y坐标的值(感兴趣区域的左上端部的像素坐标)的升序来重新布置所提取的各个感兴趣区域的多条坐标信息,以生成Y坐标顺序数据。Y坐标顺序数据包括从起始点坐标的Y坐标计算的终点Y坐标(感兴趣区域的右下端部分的像素坐标)和表示在Y轴方向上的大小的像素的数量。
此外,X坐标顺序数据包括根据起始点坐标的X坐标和表示在X轴方向上的大小的像素的数量计算的结束点X坐标(感兴趣区域的各个像素行的右端部分的像素坐标)。此外,X坐标顺序数据可以包括包含在Y坐标顺序数据中的起始点坐标和终止点Y坐标的Y坐标。
ROI解码单元402对从ROI数据分离单元215输入的有效载荷数据215A中的ROI像素行数据(压缩图像数据147B)进行解码,以生成ROI解码图像数据232A。ROI解码单元402将生成的ROI解码图像数据232A输出至ROI图像生成单元403。
ROI图像生成单元403基于Y坐标顺序数据和X坐标顺序数据以有效载荷数据为单位将感兴趣区域的图像数据输出至校正处理单元410(具体地,图像数据选择单元414)。具体地,ROI图像生成单元403基于Y坐标顺序数据和X坐标顺序数据划分针对每个感兴趣区域的有效载荷数据215A中的ROI像素行数据,并且将划分的ROI像素行数据输出至校正处理单元410。
(校正处理单元)
根据本实施方式的视频接收装置4的信号处理单元40的校正处理单元410基于上述原理进行阴影校正处理。校正处理单元410基于从ROI信息中提取的感兴趣区域的坐标信息对感兴趣区域的图像数据执行阴影校正处理。校正处理单元410基于感兴趣区域的左上端部的坐标(起始点坐标),生成捕获图像中的感兴趣区域的图像数据的每个像素的坐标,并且基于生成的每个像素的坐标,放大感兴趣区域的图像数据的每个像素的亮度。结果,对感兴趣区域的图像数据执行阴影校正。校正处理单元410包括ROI图像坐标信息生成单元411、坐标信息选择单元412、校正值表RAM 413、图像数据选择单元414和校正单元415。校正值表RAM 413保持用于阴影校正处理的阴影校正值。校正处理单元410利用这些分量执行与阴影校正处理有关的每个处理。
根据本实施方式的视频接收装置4的校正处理单元410中的ROI图像坐标信息生成单元411是与根据第一实施方式的视频发送装置3的校正电路301中包括的ROI图像坐标信息生成单元311相同的组件。即,ROI图像坐标信息生成单元411生成所切割的感兴趣区域(ROI)的图像数据的每个像素的相对坐标(像素坐标)。
在本实施方式中,类似于第一实施方式中的ROI图像坐标信息生成单元311,ROI图像坐标信息生成单元411通过使用计数器来生成感兴趣区域的图像数据的像素坐标。在本实施方式中,校正处理单元410包括用于各种类型的测量处理的计数器单元。在本实施方式中,校正处理单元410包括水平计数器Xct和垂直计数器Yct作为计数器单元。
水平计数器Xct从感兴趣区域的左上端部的坐标(左上端部的像素坐标)开始测量捕获图像中的感兴趣区域的X坐标。此外,垂直计数器Yct从感兴趣区域的左上端部的坐标(左上端部的像素坐标)开始测量捕获图像中的感兴趣区域的Y坐标。应注意,根据本实施方式的视频接收装置4的校正处理单元410中的水平计数器Xct和垂直计数器Yct与根据第一实施方式的视频发送装置3的校正电路301中的水平计数器Xct和垂直计数器Yct等同,并且因此,由相同的参考标号表示,并且将省略其详细描述。ROI图像坐标信息生成单元411通过使用水平计数器Xct和垂直计数器Yct生成感兴趣区域的图像数据的每个像素的坐标。这里,由ROI图像坐标信息生成单元411进行的像素坐标生成处理是等同于由第一实施方式中的校正电路301的ROI图像坐标信息生成单元311进行的像素坐标生成处理(参见图17)的处理。因此,省略其详细描述。ROI图像坐标信息生成单元411通过使用从信息提取单元401输入的X坐标顺序数据和Y坐标顺序数据而不是像素坐标生成处理中的感兴趣区域指定信息90A来执行像素坐标生成处理。
即,ROI图像坐标信息生成单元411通过至少使用感兴趣区域的左上端部的坐标(起始点坐标)作为坐标信息来生成像素坐标。更具体地,ROI图像坐标信息生成单元411基于由信息提取单元401生成的Y坐标顺序数据和X坐标顺序数据,使用感兴趣区域的起始点坐标和大小信息生成感兴趣区域的图像数据的像素坐标。
每次生成像素坐标时,ROI图像坐标信息生成单元411将生成的像素坐标输出至坐标信息选择单元412。一旦输入像素坐标,坐标信息选择单元412指定输入的像素坐标所属的捕获图像中的块区域Br(见图15)。一旦导出与指定的块区域Br相关联的校正值表t1的地址值,坐标信息选择单元412获取保持在与从校正值表t1导出的地址值相关联的地址区域中的阴影校正值,并且将阴影校正值输出至校正单元413。
包括在信号处理单元40的校正处理单元410中的校正单元415由坐标信息选择单元412基于坐标信息从校正值表t1获取的阴影校正值,放大感兴趣区域(ROI)的图像数据的亮度。具体地,在校正处理单元410中,ROI图像坐标信息生成单元411生成感兴趣区域的图像数据的每个像素的坐标(像素坐标),坐标信息选择单元412从校正值表t1获取与像素坐标对应的阴影校正值,并且校正单元415通过使用所获取的阴影校正值对感兴趣区域的图像数据的每个像素执行灵敏度调整。
校正单元415将从图像数据选择单元414输入的感兴趣区域的每个像素的图像数据乘以从坐标信息选择单元412输入的阴影校正值以放大亮度。图像数据选择单元414以像素为单位划分从ROI图像生成单元403输入的每个感兴趣区域的图像数据,并且将划分的图像数据输出至校正单元415。本实施方式的视频接收装置4与预定的时钟信号同步地进行该装置中的各处理。因此,通过基于时钟信号执行处理,各部件所执行的处理可以彼此结合(例如,同步)。图像数据选择单元414例如与上述时钟信号同步地以像素为单位将感兴趣区域的图像数据输出至校正单元415。此外,例如,坐标信息选择单元412与上述时钟信号同步地将阴影校正值输出至校正单元415。
如上所述,在信号处理单元40的校正处理单元410中,校正单元415以从图像数据选择单元414输入的像素为单位放大感兴趣区域的图像数据的亮度。结果,校正单元415可基于与捕获图像中的区域对应的阴影校正值放大感兴趣区域的每个像素的图像数据的亮度。因此,包括校正单元415的视频接收装置4可通过阴影校正处理以与捕获图像中的区域对应的程度放大感兴趣区域的图像数据的亮度,以使亮度均匀。
接下来,将描述与信号处理单元40中的正常图像的阴影校正处理有关的配置。信号处理单元40包括正常图像坐标信息生成单元404、正常图像解码单元405和正常图像生成单元406作为用于执行与正常图像相关的处理的组件。
正常图像解码单元405对从ROI数据分离单元215输入的有效载荷数据215B进行解码,并且生成正常图像405A。正常图像解码单元405将正常图像405A输出至正常图像生成单元406。此外,正常图像坐标信息生成单元404基于从ROI数据分离单元215输入指示包括在有效载荷数据中的图像数据是正常图像数据(包括正常图像的数据的有效载荷数据215b已经被输出到正常图像解码单元405)的确定结果,以正常图像的数据的像素为单位生成坐标(像素坐标),并且将坐标输出到坐标信息选择单元412。例如,正常图像坐标信息生成单元404依次生成从捕获图像α的原点α原点(0,0)(参见图13)至捕获图像α的右下端部分(端点)的像素的坐标的每个像素坐标,并且在与时钟信号同步的定时将生成的坐标输出至坐标信息选择单元412。
一旦从正常图像坐标信息生成单元404输入像素坐标,坐标信息选择单元412就在输入的像素坐标所属的捕获图像中指定块区域Br(见图15),并且类似于从ROI图像坐标信息生成单元411输入像素坐标的情况,导出与指定的块区域Br相关联的地址值。此外,坐标信息选择单元412获取保持在与导出的地址值相关联的地址区域中的阴影校正值,并且将阴影校正值输出到校正单元413。由此,视频接收装置4也能够基于校正值表t1中保持的阴影校正值,对正常图像的数据进行阴影校正,将正常图像的数据的亮度放大到与捕获图像内的区域对应的程度,从而使亮度均匀。
注意,同样地在根据第一实施方式的视频发送装置3中,与视频接收装置4类似,也可以基于保存在校正值表t1中的阴影校正值,对正常图像的数据进行阴影校正。在这种情况下,图像处理电路300可包括与正常图像坐标信息生成单元404和坐标信息选择单元412等同的组件。
校正单元415输出受到阴影校正处理的图像数据(感兴趣区域的图像数据或正常图像的图像数据)作为校正图像数据415A。
(接收装置中的阴影校正处理方法)
接下来,将参照图20同时参照图13至图19描述根据本实施方式的发送装置、接收装置以及传输系统中的阴影校正处理方法。图20是示出在根据本实施方式的能够执行阴影校正的接收装置、发送装置以及传输系统中的阴影校正处理方法的流程的实例的流程图。
一旦视频传输系统20被激活并且帧开始触发被输入,视频接收装置4所具有的信号处理单元40(图中所示的CamCPU)进入步骤S40。
(步骤S40)
一旦视频传输系统10被激活并且帧开始触发被输入,包括在视频接收装置200中的信号处理单元40(附图中的CamCPU)就从视频发送装置100的成像单元110(见图2)的捕获图像中确定图像(感兴趣区域)被切割的切割位置,并且结束切割位置确定处理。具体地,一旦确定切割位置,则CamCPU发送用于指示切割的控制信号。通过利用使用MIPI的硬件(HW)的通信将控制信号从视频接收装置4发送到视频发送装置100。
(步骤S11)
一旦检测到切割位置指定触发,包括在视频发送装置100中的图像处理单元120(图中的传感器CPU)获取成像单元110的捕获图像中的切割位置和大小,并且进行到步骤S12。具体地,ROI切割单元121从控制信号获取位置信息(感兴趣区域的坐标信息)和大小信息(X轴方向和Y轴方向上的大小)。
(步骤S12)
图像处理单元120基于控制信号通过ROI切割单元121确定切割捕获图像中的感兴趣区域的切割位置,并且进行到步骤S13。一旦确定了切割位置,ROI切割单元121从捕获图像中切割感兴趣区域的图像数据,并且将图像数据输出到编码单元125。
(步骤S13)
图像处理单元120通过图像处理控制单元126产生设置感兴趣区域的位置信息(坐标信息)和大小信息(X轴方向和Y轴方向上的大小)的ROI信息,并将ROI信息输出到发送单元140(具体地,EBD缓冲器144)。此外,图像处理单元120通过编码单元125将通过压缩感兴趣区域的图像数据而获得的压缩图像数据120A输出至发送单元140(具体地,ROI数据缓冲器145)。结果,发送单元140的组合单元147生成包括ROI信息的嵌入数据和包括感兴趣区域的图像数据的有效载荷数据作为传输数据147A。通过利用使用MIPI的硬件(HW)的通信将生成的传输数据147A发送到视频接收装置200。
视频接收装置4通过信号处理单元40以从EBD解译单元214向信息提取部401输入嵌入数据的定时作为触发,开始步骤S61的处理。
(步骤S41)
视频接收装置4通过信号处理单元40的401从EBD数据214A所包含的嵌入数据中提取ROI信息120B,进一步从ROI信息120B中提取感兴趣区域的位置信息(坐标信息)和大小信息(X轴方向和Y轴方向的大小),并进行到步骤S42。信息提取单元401根据提取的ROI信息(坐标信息和大小信息)生成Y坐标顺序数据和X坐标顺序数据,并且将Y坐标顺序数据和X坐标顺序数据输出到校正处理单元410。
(步骤S42)
视频接收装置4通过校正处理单元410的ROI图像坐标信息生成单元411生成感兴趣区域的图像数据的像素坐标,并进行至步骤S43。坐标信息选择单元412基于由ROI图像坐标信息生成单元411生成的像素坐标指定感兴趣区域的每个像素的图像数据所属的捕获图像中的块区域Br(参见图15)。一旦指定了块区域Br,坐标信息选择单元412导出对应于块区域Br的校正值表t1的地址值。坐标信息选择单元412从与地址值相关联的校正值表t1的地址区域As获取阴影校正值,并且将阴影校正值输出至校正单元415。
(步骤S43)
视频接收装置4通过校正处理单元410的校正单元415对感兴趣区域的图像数据执行阴影校正,并且进行到步骤S44。具体地,校正单元415通过使用从坐标信息选择单元412输入的阴影校正值,以从图像数据选择单元414输入的像素为单位放大感兴趣区域的图像数据的亮度。
(步骤S44)
视频接收装置4通过校正处理单元410确定由校正部415对捕获图像内的全部感兴趣区域的图像数据是否进行了阴影校正。具体地说,校正处理单元410根据所有感兴趣区域的像素坐标的生成在ROI图像坐标信息生成单元411中是否结束,来确定针对所有感兴趣区域的阴影校正是否结束。在生成捕获图像中所有感兴趣区域的多条图像数据的像素坐标的情况下(步骤S111中为否),校正处理单元410确定对捕获图像中所有感兴趣区域的多条图像数据完成了阴影校正,并且结束阴影校正处理。另一方面,在尚未生成捕获图像中所有感兴趣区域的多条图像数据的像素坐标的情况下(步骤S111中为是),校正处理单元410确定对捕获图像中所有感兴趣区域的多条图像数据尚未完成阴影校正,并且返回至步骤S42。
如上所述,一旦执行根据本实施方式的视频接收装置4的阴影校正处理,从校正单元415输出受到阴影校正的感兴趣区域的图像数据(校正图像数据415A)。因此,视频接收装置4能够使用在接下来的处理中进行了阴影校正的感兴趣区域的图像数据(例如,在未图示的规定的显示装置上显示感兴趣区域的图像数据)。
上面已经描述了在根据本实施方式的视频接收装置4中执行阴影校正处理的传输系统20。在本实施方式中,包括在传输系统20中的视频接收装置4包括接收单元210,接收单元210接收从预定的捕获图像中切割的感兴趣区域(ROI)的图像数据包括在有效载荷数据中的传输信号;以及
对应于感兴趣区域的ROI信息包括在嵌入数据中,并且信号处理单元40基于从ROI信息中提取的感兴趣区域的坐标信息对感兴趣区域的图像数据执行阴影校正处理。因此,传输系统20中的视频接收装置4可对感兴趣区域的图像数据进行阴影校正处理。
本实施方式的视频接收装置4的信号处理单元40被配置为能够进行阴影校正处理的硬件。此外,根据本实施方式的视频接收装置4的接收单元210被配置为能够接收包括嵌入数据和有效载荷数据的传输数据147A的硬件。结果,视频接收装置4可以加快阴影校正处理和感兴趣区域的图像数据的发送处理,并且增加在传输系统20中每单位时间处理的图像数据帧的数量。即,可以实现以高帧速率执行的处理。
虽然上面已经参照基础技术、实施方式及其变形例描述了本公开,但是本公开不限于上述实施方式等,并且可以进行各种修改。应注意,本说明书中描述的效果仅是实例。本公开的效果不限于本文中描述的效果。本公开可具有除本文中描述的效果之外的效果。
此外,例如,本公开可具有以下配置。
(1)一种发送装置,包括:
处理单元,基于捕获图像中的感兴趣区域ROI的坐标信息对ROI的图像数据执行阴影校正处理;以及
发送单元,将受到阴影校正处理的ROI的图像数据作为有效载荷数据发送并且将ROI信息作为嵌入数据发送。
(2)根据(1)所述的发送装置,其中
处理单元至少使用ROI的左上端部的坐标作为ROI的坐标信息。
(3)根据(2)所述的发送装置,其中
处理单元基于ROI的左上端部的坐标来生成捕获图像中的ROI的图像数据的每个像素的坐标,并且基于所生成的每个像素的坐标来放大ROI的图像数据的每个像素的亮度。
(4)根据(3)所述的发送装置,进一步包括:
第一计数器,从ROI的左上端部的坐标开始测量OI在捕获图像中的X坐标;以及
第二计数器,从ROI的左上端部的坐标开始测量ROI在捕获图像中的Y坐标,其中
处理单元通过使用第一计数器和第二计数器来生成ROI的图像数据的每个像素的坐标。
(5)根据(4)所述的发送装置,其中
第一计数器和第二计数器的计数值可更新为不连续值,并且
处理单元通过使用第一计数器和第二计数器来生成捕获图像中包含的多个ROI的图像数据的每个像素的坐标。
(6)根据(1)至(5)中任一项所述的发送装置,进一步包括:
校正值表,在校正值表中保持用于阴影校正处理的校正值,其中,
处理单元通过基于坐标信息通过使用从校正值表中获得的校正值来放大ROI的图像数据的亮度。
(7)根据(6)所述的发送装置,其中
处理单元从校正值表中获取与ROI的图像数据的每个像素的坐标对应的校正值,并且针对ROI的图像数据的每个像素执行灵敏度调整。
(8)一种传输系统,包括:
发送装置,包括:处理单元,基于捕获图像中的感兴趣区域(ROI)的坐标信息对ROI的图像数据执行阴影校正处理;以及发送单元,将受到阴影校正处理的ROI的图像数据作为有效载荷数据发送,并且将ROI信息作为嵌入数据发送;以及
接收装置,包括接收单元,接收单元接收传输信号,在传输信号中,包含在ROI中的图像的图像分组含在有效载荷数据中并且ROI信息包含在嵌入数据中。
(9)根据(8)所述的传输系统,其中
发送装置通过处理单元而基于ROI的左上端部的坐标生成捕获图像中的ROI的图像数据的每个像素的坐标作为坐标信息,并且放大所生成的ROI的图像数据的每个像素的亮度。
(10)根据(8)或(9)所述的传输系统,其中
发送装置包括校正值表,在校正值表中保持用于阴影校正处理的校正值,并且发送装置基于坐标信息通过使用从校正值表中获取的校正值来放大ROI的图像数据的亮度。
(11)一种接收装置,包括:
接收单元,接收传输信号,在传输信号中,从预定的捕获图像中切割出的感兴趣区域(ROI)的图像分组括在有效载荷数据中并且与ROI对应的ROI信息包括在嵌入数据中;以及
处理单元,基于从ROI信息提取的ROI的坐标信息对ROI的图像数据执行阴影校正处理。
(12)根据(11)所述的接收装置,其中,处理单元从ROI信息中至少提取ROI的左上端部的坐标作为ROI的坐标信息。
(13)根据(12)所述的接收装置,其中
处理单元基于捕获图像中的ROI的左上端部的坐标生成ROI的图像数据的每个像素的坐标,并且基于所生成的每个像素的坐标放大ROI的图像数据的每个像素的亮度。
(14)根据(13)所述的接收装置,进一步包括:
第一计数器,从ROI的左上端部的坐标开始测量ROI在捕获图像中的X坐标;以及
第二计数器,从ROI的左上端部的坐标开始测量ROI在捕获图像中的Y坐标,其中
处理单元通过使用第一计数器和第二计数器来产生ROI的图像数据的每个像素的坐标。
(15)根据(14)所述的接收装置,其中
第一计数器和第二计数器的计数值能够更新为不连续值,并且
处理单元通过使用第一计数器和第二计数器来生成捕获图像中包含的多个ROI的图像数据的每个像素的坐标。
(16)根据(11)至(15)中任一项所述的接收装置,进一步包括:
校正值表,在校正值表中保持用于阴影校正处理的校正值,其中,
处理单元基于坐标信息通过使用从校正值表中获得的校正值来放大ROI的图像数据的亮度。
(17)根据(16)所述的接收装置,其中
处理单元从校正值表中获取与ROI的图像数据的每个像素的坐标对应的校正值,并且针对ROI的图像数据的每个像素执行灵敏度调整。
(18)一种传输系统,包括:
发送装置,将感兴趣区域(ROI)的图像数据作为有效载荷数据发送并且将ROI信息作为嵌入数据发送;以及
接收装置,包括:接收单元,接收传输信号,在所述传输信号中,从预定的捕获图像中切割出的感兴趣区域(ROI)的图像分组括在有效载荷数据中并且与ROI对应的ROI信息包括在嵌入数据中;以及处理单元,基于从ROI信息中提取的ROI的坐标信息对ROI的图像数据执行阴影校正处理。
(19)根据(18)所述的传输系统,其中
接收装置通过所述处理单元而从ROI信息中至少提取ROI的左上端部的坐标作为ROI的坐标信息,基于所提取的左上端部的坐标来生成捕获图像中的ROI的图像数据的每个像素的坐标作为坐标信息,并且放大所生成的ROI的图像数据的每个像素的亮度。
(20)根据(18)或(19)所述的传输系统,其中
接收装置包括校正值表,在校正值表中保持用于阴影校正处理的校正值,并且由处理单元基于坐标信息通过使用从校正值表中获取的校正值来放大ROI的图像数据的亮度。
附图标记列表
1,10,20 视频传输系统
3,100 视频发送装置
4,200 视频接收装置
110 成像单元
42 图像处理单元
100ACSI 发射器
100BCCI 从机
111 捕获图像
112,112a1,112a2,112a3,112a4,112b1,112b4,123a4,223A ROI 图像
112b 压缩图像数据
113,114 位置信息
115 优先级
116,116a1,116a2 传输图像
118 图像
120,130 图像处理单元
120A,120A1,120A2,130A,147B 压缩图像数据
120B ROI信息
120C 帧信息
121 ROI切割单元
122 ROI分析单元
123 检测单元
124 优先级设置单元
125,131 编码单元
126 图像处理控制单元
140 发送单元
141 链路控制单元
142 ECC生成单元
143 PH生成单元
145 ROI数据缓冲器
144 EBD缓冲器
146 正常图像数据缓冲器
147 组合单元
147A 传输数据
200 ACSI接收机
200 BCCI主机
210 接收单元
211 报头分离单元
212 报头解译单元
213 有效载荷分离单元
214 EBD解译单元
214A EBD数据
215 ROI数据分离单元
215A、215B 有效载荷数据
220 信息处理单元
221 信息提取单元
221A 提取的信息
222 ROI解码单元
222A 图像数据
223 ROI图像生成单元
224 正常图像解码单元
224A 正常图像
Cb 色度分量
CCI 相机控制接口
CL 时钟通道。

Claims (20)

1.一种发送装置,包括:
处理单元,基于捕获图像中的感兴趣区域ROI的坐标信息对所述ROI的图像数据执行阴影校正处理;以及
发送单元,将受到阴影校正处理的所述ROI的图像数据作为有效载荷数据发送并且将ROI信息作为嵌入数据发送。
2.根据权利要求1所述的发送装置,其中
所述处理单元至少使用所述ROI的左上端部的坐标作为所述ROI的所述坐标信息。
3.根据权利要求2所述的发送装置,其中
所述处理单元基于所述ROI的左上端部的坐标来生成所述捕获图像中的所述ROI的图像数据的每个像素的坐标,并且基于所生成的每个像素的坐标来放大所述ROI的图像数据的每个像素的亮度。
4.根据权利要求3所述的发送装置,进一步包括:
第一计数器,从所述ROI的左上端部的坐标开始测量所述ROI在所述捕获图像中的X坐标;以及
第二计数器,从所述ROI的左上端部的坐标开始测量所述ROI在所述捕获图像中的Y坐标,其中
所述处理单元通过使用所述第一计数器和所述第二计数器来生成ROI的图像数据的每个像素的坐标。
5.根据权利要求4所述的发送装置,其中
所述第一计数器和所述第二计数器的计数值能够更新为不连续值,并且
所述处理单元通过使用所述第一计数器和所述第二计数器来生成所述捕获图像中包含的多个所述ROI的图像数据的每个像素的坐标。
6.根据权利要求1所述的发送装置,进一步包括:
校正值表,在所述校正值表中保持用于所述阴影校正处理的校正值,其中
所述处理单元基于所述坐标信息通过使用从所述校正值表中获得的所述校正值来放大所述ROI的图像数据的亮度。
7.根据权利要求6所述的发送装置,其中
所述处理单元从所述校正值表中获取与所述ROI的图像数据的每个像素的坐标对应的校正值,并且针对所述ROI的图像数据的每个像素执行灵敏度调整。
8.一种传输系统,包括:
发送装置,包括:处理单元,基于捕获图像中的感兴趣区域ROI的坐标信息对所述ROI的图像数据执行阴影校正处理;以及发送单元,将受到阴影校正处理的所述ROI的图像数据作为有效载荷数据发送,并且将ROI信息作为嵌入数据发送;以及
接收装置,包括接收单元,所述接收单元接收传输信号,在所述传输信号中,包含在所述ROI中的图像的图像分组含在所述有效载荷数据中并且所述ROI信息包含在所述嵌入数据中。
9.根据权利要求8所述的传输系统,其中
所述发送装置通过所述处理单元而基于所述ROI的左上端部的坐标生成所述捕获图像中的所述ROI的图像数据的每个像素的坐标作为所述坐标信息,并且放大所生成的ROI的图像数据的每个像素的亮度。
10.根据权利要求8所述的传输系统,其中
所述发送装置包括校正值表,在所述校正值表中保持用于所述阴影校正处理的校正值,并且所述发送装置基于所述坐标信息通过使用从所述校正值表中获取的校正值来放大所述ROI的图像数据的亮度。
11.一种接收装置,包括:
接收单元,接收传输信号,在所述传输信号中,从预定的捕获图像中切割出的感兴趣区域ROI的图像分组括在有效载荷数据中并且与所述ROI对应的ROI信息包括在嵌入数据中;以及
处理单元,基于从所述ROI信息提取的所述ROI的坐标信息对所述ROI的图像数据执行阴影校正处理。
12.根据权利要求11所述的接收装置,其中
所述处理单元从所述ROI信息中至少提取所述ROI的左上端部的坐标作为所述ROI的坐标信息。
13.根据权利要求12所述的接收装置,其中
所述处理单元基于所述捕获图像中的所述ROI的左上端部的坐标生成所述ROI的图像数据的每个像素的坐标,并且基于所生成的每个像素的坐标放大所述ROI的图像数据的每个像素的亮度。
14.根据权利要求13所述的接收装置,进一步包括:
第一计数器,从所述ROI的左上端部的坐标开始测量所述ROI在所述捕获图像中的X坐标;以及
第二计数器,从所述ROI的左上端部的坐标开始测量所述ROI在所述捕获图像中的Y坐标,其中
所述处理单元通过使用所述第一计数器和所述第二计数器来产生所述ROI的图像数据的每个像素的坐标。
15.根据权利要求14所述的接收装置,其中
所述第一计数器和所述第二计数器的计数值能够更新为不连续值,并且
所述处理单元通过使用所述第一计数器和所述第二计数器来生成所述捕获图像中包含的多个所述ROI的图像数据的每个像素的坐标。
16.根据权利要求11所述的接收装置,进一步包括:
校正值表,在所述校正值表中保持用于所述阴影校正处理的校正值,其中
所述处理单元基于所述坐标信息通过使用从所述校正值表中获得的所述校正值来放大所述ROI的图像数据的亮度。
17.根据权利要求16所述的接收装置,其中
所述处理单元从所述校正值表中获取与所述ROI的图像数据的每个像素的坐标对应的校正值,并且针对所述ROI的图像数据的每个像素执行灵敏度调整。
18.一种传输系统,包括:
发送装置,将感兴趣区域ROI的图像数据作为有效载荷数据发送并且将ROI信息作为嵌入数据发送;以及
接收装置,包括:接收单元,接收传输信号,在所述传输信号中,从预定的捕获图像中切割的感兴趣区域ROI的图像分组括在所述有效载荷数据中并且与所述ROI对应的ROI信息包括在所述嵌入数据中;以及处理单元,基于从所述ROI信息中提取的所述ROI的坐标信息对所述ROI的图像数据执行阴影校正处理。
19.根据权利要求18所述的传输系统,其中
所述接收装置通过所述处理单元而从所述ROI信息中至少提取所述ROI的左上端部的坐标作为所述ROI的坐标信息,基于所提取的所述左上端部的坐标来生成所述捕获图像中的所述ROI的图像数据的每个像素的坐标作为所述坐标信息,并且放大所生成的所述ROI的图像数据的每个像素的亮度。
20.根据权利要求18所述的传输系统,其中
所述接收装置包括校正值表,在所述校正值表中保持用于所述阴影校正处理的校正值,并且由所述处理单元基于所述坐标信息通过使用从所述校正值表中获取的所述校正值来放大所述ROI的图像数据的亮度。
CN202180023089.1A 2020-03-31 2021-03-09 发送装置、接收装置以及传输系统 Pending CN115299038A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020064353 2020-03-31
JP2020-064353 2020-03-31
PCT/JP2021/009096 WO2021199944A1 (ja) 2020-03-31 2021-03-09 送信装置、受信装置及び伝送システム

Publications (1)

Publication Number Publication Date
CN115299038A true CN115299038A (zh) 2022-11-04

Family

ID=77928570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180023089.1A Pending CN115299038A (zh) 2020-03-31 2021-03-09 发送装置、接收装置以及传输系统

Country Status (5)

Country Link
US (1) US11900572B2 (zh)
JP (1) JP7450704B2 (zh)
CN (1) CN115299038A (zh)
DE (1) DE112021001996T5 (zh)
WO (1) WO2021199944A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118032176A (zh) * 2024-04-10 2024-05-14 国网山东省电力公司潍坊供电公司 一种巡检机器人用触觉传感器、感知方法及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3273810B2 (ja) * 1992-07-30 2002-04-15 キヤノン株式会社 画像形成装置
JPH08321989A (ja) 1995-05-25 1996-12-03 Minolta Co Ltd 画像読取装置
JP4131052B2 (ja) * 1998-07-17 2008-08-13 ソニー株式会社 撮像装置
JP4228180B2 (ja) 2001-08-24 2009-02-25 富士フイルム株式会社 デジタルカメラ及びプリンタ
US7072490B2 (en) * 2002-11-22 2006-07-04 Digimarc Corporation Symmetry watermark
JP4863438B2 (ja) * 2004-09-10 2012-01-25 キヤノン株式会社 データ処理装置及び処理方法
US7859574B1 (en) * 2005-07-19 2010-12-28 Maxim Integrated Products, Inc. Integrated camera image signal processor and video encoder
WO2008015751A1 (en) * 2006-08-03 2008-02-07 Pioneer Corporation Image display device causing display means to display an image based on processed image data obtained by subjecting predetermined image data to a predetermined process, image processing device, image display control method, its program, and recording medium recorded by the program
JP5115497B2 (ja) * 2009-02-27 2013-01-09 富士通セミコンダクター株式会社 画像処理プログラム、画像処理装置および画像処理方法
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP2013106151A (ja) * 2011-11-11 2013-05-30 Canon Inc 画像処理装置及び画像処理方法
US11263829B2 (en) * 2012-01-02 2022-03-01 Digimarc Corporation Using a predicted color for both visibility evaluation and signal robustness evaluation
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP5700703B2 (ja) 2012-08-20 2015-04-15 日本電信電話株式会社 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
US20150030258A1 (en) * 2013-07-26 2015-01-29 Qualcomm Incorporated System and method of corner noise reduction in an image
US9186909B1 (en) * 2014-09-26 2015-11-17 Intel Corporation Method and system of lens shading color correction using block matching
JP6604019B2 (ja) 2015-04-14 2019-11-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
JP7163285B2 (ja) 2017-06-09 2022-10-31 ソニーセミコンダクタソリューションズ株式会社 映像送信装置および映像受信装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118032176A (zh) * 2024-04-10 2024-05-14 国网山东省电力公司潍坊供电公司 一种巡检机器人用触觉传感器、感知方法及存储介质

Also Published As

Publication number Publication date
JPWO2021199944A1 (zh) 2021-10-07
DE112021001996T5 (de) 2023-02-02
US11900572B2 (en) 2024-02-13
US20230126368A1 (en) 2023-04-27
WO2021199944A1 (ja) 2021-10-07
JP7450704B2 (ja) 2024-03-15

Similar Documents

Publication Publication Date Title
KR102509132B1 (ko) 영상 송신 장치 및 영상 수신 장치
US11871008B2 (en) Transmitting apparatus, receiving apparatus, and transmission system
CN111295885B (zh) 发送器
JP7357620B2 (ja) 画像処理装置、および画像処理システム
US12052515B2 (en) Transmitting apparatus, receiving apparatus, and transmission system
US20220272208A1 (en) Transmitter, receiver, and communication system
US12041344B2 (en) Transmitting apparatus, receiving apparatus, and transmission system
CN115299038A (zh) 发送装置、接收装置以及传输系统
JP7152475B2 (ja) 送信装置、受信装置、及び通信システム
JP7499765B2 (ja) 送信装置、受信装置及び伝送システム
US20230129052A1 (en) Reception device and transmission system
CN113170044B (zh) 接收装置和发送装置
CN113170029A (zh) 图像处理装置和图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination