CN111295885B - 发送器 - Google Patents

发送器 Download PDF

Info

Publication number
CN111295885B
CN111295885B CN201880071046.9A CN201880071046A CN111295885B CN 111295885 B CN111295885 B CN 111295885B CN 201880071046 A CN201880071046 A CN 201880071046A CN 111295885 B CN111295885 B CN 111295885B
Authority
CN
China
Prior art keywords
information
area
data
region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880071046.9A
Other languages
English (en)
Other versions
CN111295885A (zh
Inventor
高桥知宏
杉冈达也
吉持直树
稻田喜昭
小林正嗣
依田光二
饭沼隆弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN111295885A publication Critical patent/CN111295885A/zh
Application granted granted Critical
Publication of CN111295885B publication Critical patent/CN111295885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/96Management of image or video recognition tasks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2356Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages by altering the spatial resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605Creation or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343Extraction or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/665Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/38Transmitter circuitry for the transmission of television signals according to analogue transmission standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Facsimiles In General (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

提供了一种配备有图像处理单元的传输装置,该图像处理单元为图像的每一行设置与图像中设置的区域对应的区域信息,并且使得针对每一行传输设置的区域信息和与该区域对应的区域数据。所述图像处理单元通过分析图像或者基于从外部获取的区域指定信息来设置区域,其中,所述区域信息包括指示行的位置的信息和指示该行中包括的区域的列的位置的信息。

Description

发送器
技术领域
本公开涉及一种发送器。
背景技术
已经开发了用于在由成像装置捕捉的图像中切出一部分区域并传输切出区域的数据的技术。上述技术的示例包括下面PTL 1中描述的技术。此外,用于在图像中切出区域的一部分的技术的示例包括下面的PTL 2至4中描述的技术。
引用列表
专利文献
PTL 1:日本未审查专利申请公开号2016-201756
PTL 2:日本未审查专利申请公开号2013-164834
PTL 3:日本未审查专利申请公开号2012-209831
PTL 4:日本未审查专利申请公开号2014-39219
发明内容
本发明要解决的问题
例如,在使用PTL 1中描述的技术的情况下,能够从图像中切出一部分区域,并且能够传送切出区域的数据。因此,在传送使用PTL 1中描述的技术切出的区域的图像的情况下,与整个图像的传送数据量相比,传送数据量减少,因此传送时间有利地缩短。
然而,在PTL 1中描述的技术中切出的区域是矩形区域,并且没有具体考虑其他形状的区域数据的传送。此外,同样在PTL 2至PTL 4中描述的在图像中切出一部分区域的技术中,切出区域是矩形区域。因此,即使使用PTL 1至4的现有技术,也难以传送为图像设置的任意形状的区域的数据。
本公开提出了一种新颖且改进的发送器,其能够传输针对图像设置的任意形状的区域的数据。
解决问题的方法
根据本公开的实施方式,提供了一种发送器,包括图像处理器,该图像处理器为图像中的每一行设置与针对图像而设置的区域对应的区域信息,并且传输针对每一行设置的区域信息和与区域对应的区域数据,其中,所述图像处理器通过分析图像或基于外部获取的区域指定信息来设置区域,并且所述区域信息包括指示行的位置的信息和指示该行中包括的区域的列的位置的信息。
本发明的效果
根据本公开的实施方式,可以传输针对图像设置的任意形状的区域的数据。
应当注意,上述效果不一定是限制性的,并且除了上述效果之外或者代替上述效果,可以实现本说明书中阐述的任何效果或者可以从本说明书中理解的其他效果。
附图说明
[图1]是示出根据本公开的实施方式的通信系统的配置示例的说明图。
[图2]是示出了在MIPI CSI-2标准中定义的分组格式的说明图。
[图3]是示出了在MIPI CSI-2标准中定义的分组格式的说明图。
[图4]是示出根据MIPI CSI-2标准中的分组传输的信号波形的示例的说明图。
[图5]是示出为图像设置的区域的示例的说明图。
[图6]是示出根据本实施方式的传输方法的通过第一传输方案传输的数据的示例的说明图。
[图7]是描述根据本实施方式的传输方法的通过第一传输方案传输的嵌入数据的示例的说明图。
[图8]是示出根据本实施方式的传输方法的通过第一传输方案传输的长分组的配置示例的说明图。
[图9]是示出根据本实施方式的传输方法的通过第一传输方案传输的数据的示例的说明图。
[图10]是示出根据本实施方式的传输方法的通过第一传输方案传输的数据的示例的说明图。
[图11]是示出根据本实施方式的传输方法的通过第一传输方案传输的数据的另一示例的说明图。
[图12]是示出根据本实施方式的传输方法的对应于第一传输方案的图像传感器的配置示例的硬件框图。
[图13]是示出根据本实施方式的传输方法的对应于第一传输方案的处理器的配置示例的功能框图。
[图14]是示出根据本实施方式的传输方法的通过第二传输方案传输的数据的示例的说明图。
[图15]是示出根据本实施方式的传输方法的对应于第二传输方案的图像传感器的配置示例的硬件框图。
[图16]是示出根据本实施方式的传输方法的对应于第二传输方案的处理器的配置示例的功能框图。
具体实施方式
在下文中,参考附图详细描述了本公开的优选实施方式。应当注意,在本说明书和附图中,通过分配相同的附图标志,省略了对基本上具有相同功能配置的组件的重复描述。
此外,在下文中,按照以下顺序给出描述。
1.根据本实施方式的传输方法
[1]根据本实施方式的传输方法适用的通信系统的配置
[2]根据本实施方式的通信系统的应用示例
[3]根据本实施方式的传输方法
[4]通过使用根据本实施方式的传输方法实现的效果的示例
2.根据本实施方式的程序
(根据本实施方式的传输方法)
[1]根据本实施方式的传输方法适用的通信系统的配置
首先,给出根据本实施方式的传输方法适用的通信系统的配置的示例的描述。
在下文中,示例了根据本实施方式的配置通信系统的装置之间的通信方案是符合MIPI(移动工业处理器接口)CSI-2(相机串行接口2)标准的通信方案的情况。应当注意,根据本实施方式的配置通信系统的装置之间的通信方案不限于符合MIPI CSI-2标准的通信方案。例如,配置根据本实施方式的通信系统的装置之间的通信可以是由MIPI联盟建立的另一标准,例如,符合MIPI CSI-3标准的通信方案和符合MIPIDSI(显示串行接口)的通信方案。不言而喻,根据本实施方式的传输方法适用的通信方案不限于根据在MIPI联盟中建立的标准的通信方案。
图1是示出根据本实施方式的通信系统1000的配置示例的说明图。通信系统1000的示例包括通信设备(例如,智能电话)、无人机(可远程或自主操作的设备)和移动体(例如,汽车)。应当注意,通信系统1000的应用示例不限于上述示例。稍后描述通信系统1000的其他应用示例。
通信系统1000包括例如图像传感器100、处理器200、存储器300和显示装置400。
图像传感器100具有成像功能和传输功能,并且传输表示通过成像生成的图像的数据。处理器200接收从图像传感器100传输的数据,并处理接收的数据。即,在通信系统1000中,图像传感器100用作发送器,处理器200用作接收器。
应当注意,图1示出了包括一个图像传感器100的通信系统1000,但是根据本实施方式的通信系统中包括的图像传感器100的数量不限于图1所示的示例。例如,根据本实施方式的通信系统可以包括两个或更多个图像传感器100。
此外,图1示出了包括一个处理器200的通信系统1000,但是根据本实施方式的通信系统中包括的处理器200的数量不限于图1所示的数量。例如,根据本实施方式的通信系统可以包括两个或更多个处理器200。
在包括多个图像传感器100和多个处理器200的通信系统中,图像传感器100和处理器200可以一对一地对应,或者多个图像传感器100可以对应于一个处理器200。另外,在包括多个图像传感器100和多个处理器200的通信系统中,多个处理器200可以对应于一个图像传感器100。
在包括多个图像传感器100和多个处理器200的通信系统中,与图1所示的通信系统1000类似,在图像传感器100和处理器200之间执行通信。
图像传感器100和处理器200通过数据总线B1电耦合。数据总线B1是将图像传感器100和处理器200耦合在一起的单个信号传输路径。例如,从图像传感器100传输的表示图像的数据(在下文中,在某些情况下称为“图像数据”)经由数据总线B1从图像传感器100传输到处理器200。
由通信系统1000中的数据总线B1传送的信号由符合预定标准(例如,MIPI CSI-2标准)的通信方案传送。
图2和图3均是示出在MIPI CSI-2标准中定义的分组格式的说明图。图2示出了在MIPI CSI-2标准中定义的短分组(短分组)的格式,图3示出了在MIPI CSI-2标准中定义的长分组(长分组)的格式。
长分组是包括分组报头(图3中所示的“PH”)、有效载荷(图3中所示的“有效载荷数据”)和分组脚标(图3中所示的“PF”)的数据。如图2所示,短分组是具有类似于分组报头(图3所示的PH)的结构的数据。
在短分组和长分组中,在报头部分中记录VC(“虚拟信道”)号(图2和3中示出的“VC”;VC值),并且任意VC号可以分配给每个分组。分配了相同VC号的分组被视为属于相同图像数据的分组。
此外,在短分组和长分组两者中,在报头部分中记了DT(数据类型)值(图2和3中示出的“数据类型”)。因此,类似于VC号,也可以将被分配了相同的DT值的分组视为属于相同图像数据的分组。
在长分组的报头部分的字数统计中,分组的结尾被记录为字数。纠错码(纠错码)记录在短分组和长分组的报头部分的ECC中。
在MIPI CSI-2标准中,在传输数据信号的周期中使用高速差分信号,而在数据信号的消隐周期中使用低功率信号。另外,使用高速差分信号的周期称为HPS(高速状态)周期,而使用低功率信号的周期称为LPS(低功率状态)周期。
图4是示出根据MIPI CSI-2标准中的分组传输的信号波形的示例的说明图。图4的A示出了分组传输的示例,而图4的B示出了分组传输的另一示例。图4中所示的“ST”、“ET”、“PH”、“PF”、“SP”和“PS”中的每一个都表示以下含义。
ST:传输开始
ET:传输结束
PH:分组报头
PF:分组脚标
SP:短分组
PS:分组间隔
可以理解,如图4所示,在LPS周期中的差分信号(“图4所示的LPS”)和在HPS周期中的差分信号(不同于图4所示的“LPS”)在差分信号的幅度上彼此不同。因此,从提高传送效率的观点来看,希望尽可能不存在LPS周期。
图像传感器100和处理器200例如通过不同于数据总线B1的控制总线B2电耦合在一起。控制总线B2是将图像传感器100和处理器200耦合在一起的另一信号传输路径。例如,从处理器200输出的控制信息经由控制总线B2从处理器200传输到图像传感器100。
控制信息包括例如用于控制的信息和处理命令。用于控制的信息的示例包括用于控制图像传感器100中的功能的数据,例如,指示图像大小的数据、指示帧速率的数据、以及指示从接收图像输出命令的时间到输出图像的时间的输出延迟量的数据中的一者或两者或更多个。此外,控制信息可以包括指示图像传感器100的标识信息。标识信息的示例包括能够指定图像传感器100的任何数据,例如,为图像传感器100设置的ID。
应当注意,经由控制总线B2从处理器200传输到图像传感器100的信息不限于上述示例。例如,处理器200可以经由控制总线B2传送指定图像中的区域的区域指定信息。区域指定信息的示例包括能够指定区域的任何形式的数据,例如,指示包括在该区域中的像素的位置的数据(例如,包括在该区域中的像素的位置由坐标表示的坐标数据)。
图1示出了一个示例,其中,图像传感器100和处理器200通过控制总线B2电耦合在一起;然而,图像传感器100和处理器200不一定通过控制总线B2耦合。例如,图像传感器100和处理器200可以通过任何通信方案的无线通信来传输和接收控制信息等。
在下文中,给出了配置图1所示的通信系统1000的各个装置的描述。
[1-1]存储器300
存储器300是包含在通信系统1000中的记录介质。存储器300的示例包括诸如RAM(随机存取存储器)等易失性存储器、诸如闪存等非易失性存储器等。存储器300由配置通信系统1000的内部电源(未示出)提供的电力(例如,电池)或者由通信系统1000外部的电源提供的电力来操作。
存储器300存储例如从图像传感器100输出的图像。由例如处理器200控制将图像记录到存储器300中。
[1-2]显示装置400
显示装置400是包含在通信系统1000中的显示装置。显示装置400的示例包括液晶显示器、有机EL显示器(有机电致发光显示器;也称为OLED显示器(有机发光二极管显示器))等。显示装置400由配置通信系统1000的内部电源(未示出)提供的电力(例如,电池)或者由通信系统1000外部的电源提供的电力来操作。
在显示装置400的显示屏幕上显示各种图像和屏幕,例如,从图像传感器100输出的图像、与要在处理器200中执行的应用相关的屏幕、与UI(用户接口)相关的屏幕等。例如,由处理器200控制显示装置400的显示屏上的图像等的显示。
[1-3]处理器200(接收器)
处理器200接收从图像传感器100传输的数据,并处理接收的数据。如上所述,处理器200用作通信系统1000中的接收器。稍后描述与从图像传感器100传输的数据的处理相关的配置的示例(用作接收器的配置)。
处理器200由例如一者或两者或多个处理器配置,每个处理器由诸如MPU(微处理单元)、各种类型的处理电路等算术运算电路配置。处理器200通过由配置通信系统1000的内部电源(未示出)提供的电力(例如,电池)或者由通信系统1000外部的电源提供的电力来操作。
例如,处理器200执行各种类型的处理,例如,控制将图像数据记录到诸如存储器300等记录介质中的处理、控制在显示装置400的显示屏上显示图像的处理、以及执行任何应用软件的处理。与记录控制相关的处理的示例包括“将包括记录命令和要记录到记录介质中的数据的控制数据传送到诸如存储器300等记录介质的处理”。此外,与显示控制相关的处理的示例包括“将包括显示命令和要在显示屏上显示的数据的控制数据传送到诸如显示装置400等显示装置的处理”。
此外,处理器200可以例如通过向图像传感器100传输控制信息来控制图像传感器100中的功能。处理器200还能够通过例如向图像传感器100传输区域指定信息来控制从图像传感器100传输的数据。
[1-4]图像传感器100(发送器)
图像传感器100具有成像功能和传输功能,并且传输表示通过成像生成的图像的数据。如上所述,图像传感器100用作通信系统1000中的发送器。
图像传感器100包括例如能够产生图像的任何类型的图像传感器装置,例如,“成像装置,例如,数字静态相机、数字摄像机或立体相机”、“红外传感器”或“距离图像传感器”,并且具有传输所产生的图像的功能。由图像传感器100生成的图像对应于指示图像传感器100的感测结果的数据。稍后描述图像传感器100的配置的示例。
图像传感器100通过稍后描述的根据本实施方式的传输方法传输对应于为图像设置的区域的数据(下文中,称为“区域数据”)。与区域数据的传输相关的控制由例如用作图像传感器100中的图像处理器的组件(稍后描述)来执行。在某些情况下,为图像设置的区域称为ROI(感兴趣区域)。在下文中,为图像设置的区域可以称为“ROI”。
与图像的区域设置相关的处理的示例包括能够指定图像中的区域的一部分的任何处理(或者能够从图像中切出区域的一部分的任何处理),例如,“从图像中检测对象并设置包括检测到的对象的区域的处理”和“设置由任何操作装置上的操作指定的区域的处理”。
与图像的区域设置相关的处理可以由图像传感器100执行,或者可以由诸如处理器200等外部装置执行。在图像传感器100执行与图像的区域设置相关的处理的情况下,图像传感器100根据与图像的区域设置相关的处理的结果来指定区域。此外,例如,在外部装置处执行与图像的区域设置相关的处理的情况下,图像传感器100基于从外部装置获取的区域指定信息来指定区域。
如上所述,图像传感器100能够经由控制总线B2从处理器200获取区域指定信息。此外,在通信系统1000中,处理器200对应于要从图像传感器100向其传输区域数据的接收器。即,图像传感器100能够基于从要向其传输区域数据的接收器获取的区域指定信息来指定区域。
图像传感器100传输区域数据,即,传输图像的一部分的数据,从而与传输整个图像相比,减少了传输的数据量。因此,由图像传感器100执行的区域数据的传输实现了通过减少数据量而获得的各种效果,例如,缩短传输时间或减少通信系统1000中的传输负载。
应当注意,图像传感器100也可以传输表示整个图像的数据。
在图像传感器100具有传输区域数据的功能和传输表示整个图像的数据的功能的情况下,图像传感器100能够选择性地在传输区域数据和传输表示整个图像的数据之间切换。
例如,图像传感器100根据设置的操作模式传输区域数据或表示整个图像的数据。操作模式的设置例如通过任意操作装置上的操作等来执行。
此外,图像传感器100可以基于从外部装置获取的区域指定信息,在传输区域数据和传输表示整个图像的数据之间选择性地切换。例如,当从外部装置获取区域指定信息时,图像传感器100传输对应于区域指定信息的区域的区域数据,并且当没有从外部装置获取区域指定信息时,图像传感器100传输表示整个图像的数据。
通信系统1000具有例如图1所示的配置。应当注意,根据本实施方式的通信系统的配置不限于图1所示的示例。
例如,图1例示了作为用作发送器的装置的图像传感器100;然而,用作发送器的装置不限于图像传感器100。例如,在根据本实施方式的通信系统被配置为包括诸如成像装置等图像传感器装置和电耦合到图像传感器装置的发送器的情况下,发送器可以用作发送器。
此外,图1例示了作为用作接收器的装置的处理器200;然而,用作接收器的装置不限于处理器200。例如,在根据本实施方式的通信系统中,具有接收数据功能的任何装置都能够用作接收器。
此外,在诸如从图像传感器100传输的图像存储在通信系统外部的记录介质中的情况、从图像传感器100传输的图像存储在处理器200中包括的存储器中的情况、或者没有记录从图像传感器100传输的图像的情况之类的情况下,根据本实施方式的通信系统可以不必包括存储器300。
此外,根据本实施方式的通信系统可以具有不提供图1所示的显示装置400的配置。
此外,根据本实施方式的通信系统可以具有根据应用了根据本实施方式的通信系统的稍后描述的电子装置的功能的任何配置。
[2]根据本实施方式的通信系统的应用示例
尽管已经给出了作为本实施方式的通信系统的描述,但是本实施方式不限于这样的实施方式。本实施方式适用于各种电子装置,例如,通信设备(例如,智能电话)、无人机(可远程或自主操作的设备)、移动体(例如,汽车)、计算机(例如,PC(个人计算机))、平板装置和游戏机。
[3]根据本实施方式的传输方法
接下来,描述根据本实施方式的传输方法。在下文中,示例了根据本实施方式的传输方法应用于图1所示的图像传感器100(根据本实施方式的发送器)的情况。图像传感器100中根据本实施方式的传输方法的处理由例如用作图像处理器的IC芯片(稍后描述)来执行。应当注意,在图像传感器100中,根据本实施方式的传输方法的处理可以由用作图像处理器的另一组件来执行。
图5是示出为图像设置的区域的示例的说明图。作为区域的示例,图5示出了四个区域:区域1、区域2、区域3和区域4。不言而喻,为图像设置的区域不限于图5所示的示例。
如上所述,在使用现有技术的情况下,可以传送诸矩形区域(例如,图5中的区域1)的数据。
然而,如上所述,即使当使用现有技术时,也难以传送除了为图像设置的矩形形状之外的任意形状的区域的数据,例如,图5中的区域2、区域3和区域4。另外,即使当使用现有技术时,在如图5中的区域1和区域2那样将多个区域设置在一行中的情况下,并且在如图5中的区域3和区域4那样设置的区域彼此重叠的情况下,也难以传送区域数据。如本文所使用的,当像素的位置由二维平面坐标(x,y)表示时,图像中的行意味着y坐标是相同的。
[3-1]基本处理
因此,图像传感器100为图像中的每一行设置与针对图像而设置的区域对应的区域信息。
然后,图像传感器100传输针对每一行设置的区域信息和与区域对应的区域数据。图像传感器100根据预定顺序(例如,y坐标值的升序或降序)传输针对每一行的区域信息和区域数据。另外,图像传感器100可以以随机顺序传输针对每一行的区域信息和区域数据。
根据本实施方式的区域信息是用于在接收器侧指定要为图像设置的区域的数据(数据组)。区域信息包括例如指示行的位置的信息、关于行中包括的区域的标识信息、指示行中包括的区域的列的位置的信息、以及指示行中包括的区域的大小的信息。
应当注意,包括在区域信息中的信息可以根据稍后描述的传输方案而变化。例如,在稍后描述的第二传输方案和第三传输方案中,可以不必包括关于包括在行中的区域的标识信息和指示包括在该行中的区域的大小的信息中的一者或两者。例如,在区域被VC号划分的情况下,VC号可以用作关于包括在稍后描述的第二传输方案和第三传输方案中的行中的区域的标识信息。另外,在区域被VC号划分的情况下,在稍后描述的第二传输方案和第三传输方案中,有效载荷长度可以被替换为指示包括在该行中的区域的大小的信息。下面例示“区域信息包括指示行的位置的信息、关于行中包括的区域的标识信息、指示行中包括的区域的列的位置的信息、以及指示行中包括的区域的大小的信息的情况”。
指示行的位置的信息的示例包括能够指定行的任何数据,例如,指示y坐标的数量的数据和指示通过递增初始值(例如,“0”(零))计算的y坐标值的数据。在下文中,在某些情况下,指示行位置的信息可以称为“Y”。
关于区域的标识信息的示例包括能够唯一指定区域的任何数据,例如,指示区域的ID的数据,例如,分配给该区域的号码。在下文中,在某些情况下,关于区域的标识信息可以称为“ROI ID”或“I”。
指示区域的列的位置的信息的示例包括能够指定列的任何数据,例如,指示x坐标的数量的数据。在下文中,在某些情况下,指示区域的列的位置的信息可以称为“ROI X”或“X”。
指示区域大小的信息的示例包括能够指定行中的区域大小的任何数据,例如,指示行中区域的像素数的数据。在下文中,在某些情况下,行中区域的大小可以称为“ROI长度”、“ROI LEN”或“L”。
例如,如上所述,通过将指示行的位置的信息、关于区域的标识信息、指示区域的列的位置的信息以及指示区域的大小的信息设置为区域信息,已经接收到区域信息的接收器可以指定区域、区域的位置和ROI(Region Of Interest)长度。此外,通过指定区域、区域的位置和ROI长度,可以唯一地指定在行中设置区域的位置和ROI长度。
因此,通过将指示行的位置的信息、关于区域的标识信息、指示区域的列的位置的信息以及指示区域的大小的信息设置为区域信息,通信系统1000可以处理“矩形区域(例如,图5中的区域1)的区域数据”和“除了矩形形状之外的任意形状的区域(例如,图5中的区域2、区域3和区域4)的区域数据”的每次传输。
此外,图像传感器100可以针对包括在行中的每个区域将区域信息中的信息共同设置为区域信息。例如,图像传感器100针对包括在行中的每个区域将关于区域的标识信息、指示区域的列的位置的信息和指示区域的大小的信息共同设置为区域信息。针对每个区域共同设置为区域信息这一短语表示例如将关于区域的标识信息、指示区域的列的位置的信息和指示区域的大小的信息(包括在区域信息中的信息的示例)设置为一组数据,作为区域信息。
在此处,图像传感器100为每一行设置区域信息,因此即使当包括多个区域时,行的位置也是恒定的。因此,图像传感器100将指示行的位置的一条信息设置为区域信息。不言而喻,图像传感器100能够针对包括在行中的每个区域共同设置指示行位置的信息、关于区域的标识信息、指示区域的列位置的信息以及指示区域大小的信息。
例如,如上所述,通过针对包括在行中的每个区域共同设置关于该区域的标识信息、指示该区域的列的位置的信息、以及指示该区域的大小的信息,已经接收到该区域信息的接收器可以更容易地为每个区域指定区域、区域的位置和ROI长度。此外,通过指定区域、区域的位置和ROI长度,可以唯一地指定哪个区域设置在行中的什么位置以及ROI长度。
因此,通过为行中包括的每个区域共同设置关于该区域的标识信息、指示该区域的列的位置的信息以及指示区域大小的信息,通信系统1000可以处理“在如图5中的区域1和区域2那样多个区域设置在一行中的情况下的区域数据的传送”和“在如图5中的区域3和区域4那样设置的区域彼此重叠的情况下的区域数据的传送”。
此外,在如图5中的区域3和区域4中那样设置的区域彼此重叠的情况下,即,在多个区域存在重叠部分的情况下,图像传感器100可以确定是否重叠地传输重叠部分的数据。例如,图像传感器100针对存在重叠部分的每组区域确定是否重叠地传输重叠部分的数据。然后,当确定是否重叠地传输重叠部分的数据时,在确定重叠地传输重叠部分的数据的情况下,图像传感器100重叠地传输重叠部分的数据。
如本文所使用的,重叠地传输重叠部分的数据这一短语表示例如“使得重叠部分的数据包括在对应于存在重叠部分的各个区域的区域数据中,以用于传输”。稍后描述重叠地传输重叠部分的数据的具体示例。
即使在图像传感器100重叠地传输重叠部分的数据的情况下,已经接收到区域信息和区域数据的接收器也能够通过区域信息唯一地指定对应于该区域的区域数据。此外,在重叠地传输重叠部分的数据的情况下,图像传感器100可以添加指示数据定界的报头(header)等,以更有利于在接收器侧分离对应于各个区域的区域数据。
重叠部分的数据传输“有利地使得已经接收到区域数据的接收器(例如,处理器200)更容易使用接收到的区域数据来执行处理”。
图像传感器100例如基于包括重叠部分的行中的列数(像素数)来确定是否重叠地传输重叠部分的数据。更具体地,图像传感器100确定例如在包括重叠部分的行中重叠地传输重叠部分的数据的情况下的列数。然后,在确定的列数小于或等于设置的阈值的情况下(或者在确定的列数小于阈值的情况下),图像传感器100确定重叠地传输重叠部分的数据。此外,在确定的列数大于设置的阈值的情况下(或者在确定的列数等于或大于阈值的情况下),图像传感器100不进行确定重叠地传输重叠部分的数据。用于确定是否传输重叠部分的上述数据的阈值可以是预先设置的固定值,或者可以是能够通过处理器200的控制等经由控制总线B2改变的可变值。
例如,如上所述,通过基于“在重叠地传输重叠部分的数据的情况下的列数”来确定是否重叠地传输重叠部分的数据,图像传感器100可以根据设置的区域在重叠地传输重叠部分的数据和不重叠地传输重叠部分的数据之间自动切换。此外,通过根据设置的区域自动切换传输重叠部分的数据和不传输重叠部分的数据,图像传感器100可以传输不超过接收器吞吐量的数据。
应当注意,确定是否重叠地传输重叠部分的数据的方法不限于使用包括重叠部分的行中的列数的方法。
例如,图像传感器100也可以基于设置的操作模式来确定是否重叠地传输重叠部分的数据。例如,在操作模式是用于重叠地传输重叠部分的数据的操作模式的情况下,图像传感器100确定重叠地传输重叠部分的数据。另外,例如,在图像传感器100的操作模式是不重叠地传输重叠部分的数据的操作模式的情况下,图像传感器100不进行确定重叠地传输重叠部分的数据。图像传感器100的操作模式通过例如经由控制总线B2的处理器200的控制来设置。
此外,例如,如图5的区域2所示,根据要设置的区域,可以在一行中存在多个相同的区域。因此,在一行中存在多个相同区域的情况下,图像传感器100可以针对存在的相同区域的数量来设置区域信息。在一行中存在多个相同区域的情况下,对于存在的相同区域的数量,图像传感器100将例如关于区域的标识信息、指示区域的列的位置的信息以及指示区域的大小的信息设置为区域信息。
例如,对于一行中存在的多个相同区域的数量,通过将关于区域的标识信息、指示区域的列的位置的信息和指示区域的大小的信息设置为区域信息,已经接收到区域信息的接收器可以针对多个相同区域中的每一个区域指定区域、区域的位置和ROI长度。
因此,通过针对一行中存在的多个相同区域的数量来设置区域信息,通信系统1000可以处理图5中的区域2的区域数据的传送。
因此,例如,通过针对每一行设置包括上述各种信息的区域信息,已经接收到区域信息的接收器可以唯一地指定在该行中设置的区域。
应当注意,包括在区域信息中的信息不限于上述示例。例如,区域信息可以包括其他数据,例如,指示该行中包括的区域的数量的数据(在下文中,在某些情况下称为“ROI的数量”)。稍后描述包括在区域信息中的信息的具体示例。
[3-2]例外处理
应当注意,根据本实施方式的传输方法的处理不限于上述基本处理。
(a)例外处理的第一示例
例如,图像传感器100可以不必将在区域信息中包括的信息中,从前一次所要传输的行的区域信息中所包含的信息中未变化的信息设置为区域信息。即,图像传感器100传输包括从前一次所要传输的区域信息的行的信息中已经变化的信息的区域信息。
如上所述,通过对从在前一次所要传输的行的区域信息中所包含的信息中未变化的信息不传输,可以进一步减少区域信息的数据量。区域信息的数据量的减少有助于缩短传输时间和减少通信系统1000中的传输负载。
应当注意,根据另一信息的变化,即使信息从前一次所要传输的行的区域信息中所包含的信息中未变化,也可能存在被设置为区域信息的信息。
例如,当将指示区域的列的位置的信息设置为区域信息时,图像传感器100将关于该区域的标识信息设置为区域信息。另外,例如,当将指示区域大小的信息设置为区域信息时,图像传感器100将关于该区域的标识信息设置为区域信息。即,在区域的x坐标和ROI长度中的一者或两者在从前一次所要传输的行的区域信息中所包含的内容中变化的情况下,图像传感器100将关于区域的标识信息设置为区域信息。
在区域的x坐标和ROI长度中的一者或两者变化的情况下,图像传感器100将关于区域的标识信息设置为区域信息,从而使得已经接收到区域信息的接收器能够唯一地指定对应于改变的内容的区域。
(b)例外处理的第二示例
如上所述,图像传感器100能够根据预定顺序传输针对每一行的区域信息和区域数据。此时,在用于传输区域信息和区域数据的行是根据预定顺序的行的情况下,图像传感器100可以不必将指示行的位置的信息设置为区域信息。
即使在图像传感器100未将指示行的位置的信息设置为区域信息的情况下,接收器也能够根据预定顺序指定接收到的区域信息和区域数据包括在哪个行中,作为区域数据。
[3-3]区域信息和区域数据的传输方案
图像传感器100通过执行例如上述“[3-1]所示的基本处理”或“上述[3-1]所示的基本处理”和“上述[3-2]所示的例外处理”来传输每一行的区域信息和区域数据。接下来,给出传输区域信息和区域数据的传输方案的描述。
区域信息和区域数据的传输方案的示例包括下面(1)中描述的第一传输方案、下面(2)中描述的第二传输方案和下面(3)中描述的第三传输方案。
(1)第一传输方案
(1-1)根据第一传输方案的处理
图像传感器100将区域信息和区域数据存储在用于传输每一行的分组的有效载荷中。
图6是示出根据本实施方式的传输方法的通过第一传输方案传输的数据的示例的说明图。图6示出了“对应于图5所示的区域1、区域2、区域3和区域4中的每一个的区域信息和区域数据存储在图3所示的MIPI的长分组的有效载荷中并且为每一行传输的示例”。
图6所示的“FS”是MIPI CSI-2标准中的FS(帧开始)分组,而图6所示的“FE”是MIPICSI-2标准中的FE(帧结束)分组(这同样适用于其他图)。
图6中所示的“嵌入数据”是可嵌入到要传输的数据的报头或脚标的数据。“嵌入数据”的示例包括由图像传感器100另外传输的额外信息。在下文中,在某些情况下,嵌入数据可以称为“EBD”。
根据本实施方式的额外信息的示例包括指示区域的数据量的信息、指示区域大小的信息和指示区域优先级的信息中的一者或两者或多者。
指示区域的数据量的信息的示例包括能够指定区域的数据量的任何形式的数据,例如,“指示包括在区域中的像素数(或区域的数据量)和报头的数据量的数据”。传输指示该区域的数据量的信息,作为图6中所示的“嵌入数据”,使得接收器能够指定每个区域的数据量。即,传输指示区域的数据量的信息,作为图6中所示的“嵌入数据”,使得接收器能够指定区域的数据量,即使在接收器没有基于区域信息计算每个区域的数据量的功能的情况下。
指示区域大小的信息的示例包括能够指定区域大小的任何形式的数据,例如,“指示包括该区域的矩形区域的数据(例如,指示矩形区域中水平方向的像素数和垂直方向的像素数的数据)”。
指示区域优先级的信息例如是用于处理区域数据的数据。作为示例,由指示区域的优先级的信息指示的优先级用于处理区域的顺序,或者用于如图5中的区域3和区域4中那样设置的区域彼此重叠的情况下的处理。
应当注意,根据本实施方式的额外信息不限于上述示例。根据本实施方式的额外信息的示例包括各种类型的数据,例如,指示图像传感器装置中的曝光值的曝光信息和指示图像传感器装置中的增益的增益信息。在处理器200经由控制总线B2的控制下,由曝光信息指示的曝光值和由增益信息指示的增益均设置在图像传感器装置中。
图7是描述根据本实施方式的传输方法的通过第一传输方案传输的嵌入数据的示例的说明图。图7示出了一个示例,其中,传输指示区域大小的信息,作为图6所示的“嵌入数据”,并且指示要传输的区域大小的信息是指示包括该区域的最小矩形区域的数据。此外,图7示出了设置了四个区域:区域1、区域2、区域3和区域4的示例,类似于图5。
传输指示区域大小的信息,作为图6所示的“嵌入数据”,使得接收器能够指定包括图7的R1所示的区域1的最小矩形区域、包括图7的R2所示的区域2的最小矩形区域、包括图7的R3所示的区域3的最小矩形区域以及包括图7的R4所示的区域4的最小矩形区域。即,传输指示区域大小的信息,作为图6所示的“嵌入数据”,使得接收器能够基于区域信息指定包括每个区域的最小矩形区域,即使在接收器没有基于区域信息指定包括每个区域的最小矩形区域的功能的情况下。不言而喻,指示区域大小的信息不限于指示包括每个区域的最小矩形区域的数据。
指示区域优先级的信息的示例包括能够指定区域优先级的任何形式的数据,例如,ROI ID以优先级的降序排列的数据和ROI ID以优先级的升序排列的数据。传输指示区域优先级的信息,作为图6所示的“嵌入数据”,使得接收器能够指定例如区域的处理顺序以及优先处理哪个区域。即,传输指示区域优先级的信息,作为图6所示的“嵌入数据”,使得可以控制接收器中区域的处理。
不言而喻,作为图6所示的“嵌入数据”传输的指示区域的数据量的信息、指示区域的大小的信息和指示区域的优先级的信息的每个示例不限于上述示例。
图6中所示的“PH”是长分组的分组报头。在此处,根据第一传输方案的长分组的分组报头可以用作数据(变化信息),该数据指示包括在区域信息中的信息是否已经从前一次所要传输的分组中所包含的区域信息中变化。即,认为图6中所示的“PH”是指示长分组的数据类型的单个数据。
作为示例,在包括在区域信息中的信息已经从前一次所要传输的分组中所包含的区域信息中变化的情况下,图像传感器100将“0x38”设置为“PH”。在这种情况下,图像传感器100将区域信息存储在长分组的有效载荷中。
作为另一示例,在包括在区域信息中的信息从前一次所要传输的分组中所包含的区域信息中未变化的情况下,图像传感器100将“0x39”设置为“PH”。在这种情况下,图像传感器100不将区域信息存储在长分组的有效载荷中。即,在包括在区域信息中的信息从前一次所要传输的分组中所包含的区域信息未变化的情况下,图像传感器100不使得传输区域信息。
不言而喻,设置为“PH”的数据不限于上述示例。
图6所示的“信息”是要存储在有效载荷中的区域信息(这同样适用于其他图表)。如图6所示,区域信息存储在有效载荷的头部。在下文中,在某些情况下,区域信息可以称为“ROI信息”。
图6所示的“1”、“2”、“3”和“4”分别对应于存储在有效载荷中的区域1的区域数据、区域2的区域数据、区域3的区域数据和区域4的区域数据(这同样适用于其他图)。应当注意,在图6中,每个区域数据以定界的方式示出,为了方便起见,这表示定界,但是在存储在有效载荷中的数据之间没有定界(这也适用于其他图)。在下文中,在某些情况下,区域数据可以称为“ROI DATA”。
图8是示出根据本实施方式的传输方法的通过第一传输方案传输的长分组的配置的示例的说明图。
图8所示的“ROI信息类型”是表示“ROI信息参数”的传送形式的数据。设置“ROI信息类型”,使得已经接收到区域信息的接收器能够唯一地指定“ROI信息参数”的内容。
此外,“ROI信息类型”对应于指示长分组的数据类型的另一数据。即,在根据第一传输方案的长分组中,两种类型的“PH”和“ROI信息类型”被定义为长分组的数据类型。
例如,“ROI信息类型”是1个[字节]的数据,当以Verilog-HDL表示法表示时,具有以下含义。不言而喻,“ROI信息类型”不限于1个[字节]的数据。
[7:4]...保留
[3]...“1'b1”:传送Y,“1'b0”:不传送Y
[2]...“1'b1”:传送ROI ID,“1'b0”:不传送ROI ID
[1]...“1'b1”:传送X,“1'b0”:不传送X
[0]...“1'b1”:传送ROI长度,“1'b0”:不传送ROI长度
此外,图8所示的“ROI信息参数”根据“ROI信息类型”存储数据。
应当注意,根据第一传输方案的区域信息可以包括例如指示区域的x坐标和ROI长度均从前一次所要传输的分组中所包含的区域信息中未变化的标志(以下,称为“NOCHANGE标志”)。在指示NO CHANGE标志未变化的情况下(例如,在NO CHANGE标志是1′b1的情况下),可以省略“ROI信息类型”的上述[1]和上述[0]。
NO CHANGE标志的示例包括ROI ID的MSB(最高有效位)。应当注意,NO CHANGE标志可以是不同于ROI ID的数据。
图9是示出根据本实施方式的传输方法的通过第一传输方案传输的数据的示例的说明图,并且具体示出根据图8所示的长分组的配置的图6所示的数据。
在第一传输方案中,对应于图5所示的区域1、区域2、区域3和区域4中的每一个的区域信息和区域数据存储在例如图9所示的MIPI的长分组的有效载荷中,并且针对每一行进行传输。
如上所述,图像传感器100能够传输指示区域的数据量的信息、指示区域的大小的信息和指示区域的优先级的信息(额外信息的示例)中的一者或两者或多者,作为图6中所示的“嵌入数据”。
此外,如上所述,在如图5中的区域3和区域4那样存在多个区域彼此重叠的重叠部分的情况下,图像传感器100可以根据确定的结果来确定是否重叠地传输重叠部分的数据,以重叠地传输重叠部分的数据。
图10是示出根据本实施方式的传输方法的通过第一传输方案传输的数据的示例的说明图。图10的A示出了图像传感器100不重叠地传输图5的区域3和区域4中的重叠部分的数据的情况的示例。另外,图10的B示出了图像传感器100重叠地传输图5的区域3和区域4中的重叠部分的数据的情况的示例。在图10的B中,由符号D表示的部分对应于区域3和区域4中的重叠部分的数据。
应当注意,由第一传输方案传输的数据的示例不限于图6所示的示例。图11是示出根据本实施方式的传输方法的通过第一传输方案传输的数据的另一示例的说明图。
一个帧分成例如帧头区域、分组区域和帧尾区域。
帧头区域包括用作帧标识符的帧号。此外,帧头区域可以包括为图像设置的区域数量和额外信息。即,在第一传输方案中,额外信息不限于作为“嵌入数据”传输的信息。图11示出了传输以下信息作为额外信息的示例。
物理区域的长度:例如,图像传感器装置的像素数
输出区域的长度:例如,要从图像传感器装置输出的图像的像素数(图像上的长度)
总数据量:例如,分组区域的数据量
优先级:区域的优先级
感测信息:例如,用于处理对应于区域的图像的数据,例如,包含在一个区域中的对象的算术运算的内容
关于AD字长的信息:ADC中的字长
曝光信息
增益信息
在分组区域中,类似于图6,针对每一行传输区域信息和区域数据。
帧尾区域可以包括类似于帧头区域的数据,例如,额外信息。
同样在图11所示的示例中,与图6所示的示例类似,能够针对每一行传送区域信息和区域数据。
(1-2)第一传输方案的特征和优势
根据本实施方式的传输方法的第一传输方案具有例如以下特征。不言而喻,根据本实施方式的传输方法的第一传输方案的特征不限于下面描述的示例。
使用EBD传输额外信息,并使用有效载荷传输对应于设置区域的区域信息。
在区域信息中所包含的信息中仅传输与变化点对应的信息。
能够处理任意形状的区域。
此外,在第一传输方案中,存储在有效载荷的头部的同时传输的区域信息具有以下特征,例如。不言而喻,根据第一传输方案的区域信息的特征不限于下面描述的示例。
为区域传输定义了长分组的两种数据类型;
其中一个用于传输区域信息(例如,指示“0x38”的数据);
其中的另一个用于这样的情况,其中,区域信息与前一次所要传输的分组中所包含的区域信息相同(例如,指示“0x39”的数据);
传输参数传送形式,因为不像根据稍后描述的第二种传输方案的短分组那样没有定界;
在一行中存在多个相同区域的情况下,通过传输关于存在的多个相同区域的数量的相同区域的标识信息,来传送存在于一行中的多个相同区域的信息;
表示一行位置的信息(Y);
递增初始值0(零);
当没有根据预定顺序传输时传输(例如,当稀疏时);
NO CHANGE标志;
利用关于区域(ROI ID)的标识信息的MSB进行传输;
关于区域(I)的标识信息;
当区域增加或减少时传输;
在区域的列位置或ROI长度改变的情况下进行传输;
表示区域的列位置的信息(X);
初始值0(零);
在改变时传输;
作为一组与关于区域的标识信息一起传输;
表示区域大小的信息(L);
肯定是最先传输的行中设置;
在改变时传输;
作为一组与关于区域的标识信息一起传输。
此外,例如,第一传输方案具有以下优点。
高传输效率;
与已经定义的CSI-2标准向后兼容;
能够传送任何区域(ROI)的形状。
(1-3)根据第一传输方案的配置示例
接下来,描述对应于上述第一传输方案的图像传感器100的配置的示例和对应于第一传输方案的处理器200的配置的示例(与从图像传感器100传输的数据的处理相关的配置的示例)。
(1-3-1)对应于第一传输方案的图像传感器100(发送器)的配置
图12是示出根据本实施方式的传输方法的对应于第一传输方案的图像传感器100的配置示例的硬件框图。图像传感器100包括例如图像传感器装置102和IC芯片104。图12中示出的图像传感器100通过从配置通信系统1000的内部电源(未示出)供应的电力(例如,电池)或者从通信系统1000外部的电源供应的电力来操作。
图像传感器装置102是能够产生图像的任何形式的图像传感器装置,例如,“诸如数字静态相机等成像装置”、“红外传感器”或“距离图像传感器”。
作为示例,用作图像传感器装置102的成像装置包括透镜/成像元件和信号处理电路。
透镜/成像元件包括例如光学系统透镜和使用多个成像元件的图像传感器,例如,CMOS(互补金属氧化物半导体)和CCD(电荷耦合器件)。
信号处理电路包括例如AGC(自动增益控制)电路和ADC(模数转换器),并将成像元件产生的模拟信号转换成数字信号(图像数据)。此外,信号处理电路执行例如与RAW开发相关的各种类型的处理。此外,信号处理电路可以执行各种类型的信号处理,例如,白平衡校正处理、色调校正处理、伽马校正处理、YCbCr变换处理和边缘增强处理。
此外,信号处理电路可以执行与图像的区域设置相关的处理,并将区域指定信息传送到IC芯片104。此外,信号处理电路可以向IC芯片104传送各种类型的数据,例如,曝光信息和增益信息。
指示由图像传感器装置102生成的图像的信号传送到IC芯片104。应当注意,在指示从图像传感器装置102传送到IC芯片104的图像的信号是模拟信号的情况下,例如,IC芯片104通过其中包括的ADC将模拟信号转换成数字信号,并处理通过转换获得的图像数据。下面,例示图像数据从图像传感器装置102传送到IC芯片104的情况。
IC芯片104是芯片形状的IC(集成电路),在其上集成了涉及根据第一传输方案的数据传输功能的电路,处理从图像传感器装置102传送的图像数据,并且传输对应于生成的图像的数据。对应于图像的数据是从图像传感器装置102传送的图像数据(即,表示整个图像的数据),或者是区域信息和区域数据。应当注意,涉及通过第一传输方案传输数据的功能的电路不限于以一个IC芯片的形式实现,而是可以由多个IC芯片形成。
IC芯片104包括例如图像处理电路106、LINK控制电路108、ECC生成电路110、PH生成电路112、EBD缓冲器114、图像数据缓冲器116、合成电路118和传输电路120。
图像处理电路106是具有执行与根据本实施方式的传输方法相关的处理的功能的单个电路。在执行根据本实施方式的传输方法的处理的情况下,图像处理电路106为图像中的每一行设置区域信息,并且使得LINK控制电路108、ECC生成电路110、PH生成电路112、EBD缓冲器114、图像数据缓冲器116、合成电路118和传输电路120通过第一传输方案为每一行传输设置的区域信息和与区域对应的区域数据。此外,图像处理电路106还能够使得为每一行传输要从图像传感器装置102传送的图像数据(即,表示整个图像的数据)。
图像处理电路106的示例包括处理器,例如,MPU。
通过将功能划分成功能块,来描述图像处理电路106的功能。如图12所示,图像处理电路106包括例如区域切出部122、图像处理控制部124和编码部126。
区域切出部122用于执行与图像的区域设置相关的处理,并且为由从图像传感器装置102传送的图像数据指示的图像设置区域(ROI)。例如,区域切出部122根据设置的操作模式执行与图像的区域设置相关的处理。例如,在操作模式是用于传输区域数据的操作模式的情况下,区域切出部122执行与图像的区域设置相关的处理。此外,在操作模式是用于传输表示整个图像的数据的操作模式的情况下,区域切出部122不执行与图像的区域设置相关的处理。
例如,区域切出部122通过对图像执行可选的对象检测处理来检测对象,并且为每个检测到的对象设置包括检测到的对象的区域。此外,区域切出部122可以在任何操作装置上设置由操作等指定的区域。由区域切出部122设置的区域的示例可以包括如图5中的区域1所示的矩形区域以及除了为图像设置的矩形形状之外的任意形状的区域,例如,图5中的区域2、区域3和区域4。
在设置了区域的情况下,区域切出部122将指示例如设置区域的区域指定信息传送到图像处理控制部124。此外,在没有设置区域的情况下,区域切出部122不将区域指定信息传送到图像处理控制部124。
此外,区域切出部122将从图像传感器装置102传送的图像数据传送到编码部126。
图像处理控制部124用于执行与根据本实施方式的传输方法相关的处理,为图像中的每一行设置区域信息,并将设置的区域信息传送到编码部126和PH生成电路112。
图像处理控制部124基于例如从区域切出部122获取的区域指定信息或从外部装置(未示出)获取的区域指定信息来指定图像中的每一行中包括的区域。然后,图像处理控制部124基于指定的区域设置针对每一行的区域信息。此时,图像处理控制部124可以不必将从前一次所要传输的行的区域信息中所包含的信息中未变化的信息设置为区域信息,如上述例外处理中所示。
此外,在没有获取区域指定信息的情况下,图像处理控制部124不设置区域信息。
应当注意,图像处理控制部124中的处理不限于上述示例。
例如,图像处理控制部124可以生成帧信息,并且将生成的帧信息传送到例如LINK控制电路108。帧信息的示例包括分配给每个帧的VC的数量。此外,帧信息的示例可以包括指示数据类型的数据,例如,YOV数据、RGB数据或RAW数据。
此外,例如,图像处理控制部124可以执行设置额外信息的处理,并将设置的额外信息传输到EBD缓冲器114。
设置额外信息的处理的示例包括生成额外信息的处理。生成额外信息的处理的示例包括生成指示区域的数据量的信息的处理、生成指示区域的大小的信息的处理以及生成指示区域的优先级的信息的处理中的一者或两者或多者。
应当注意,设置额外信息的处理不限于生成额外信息的处理。例如,图像处理控制部124可以将从图像传感器装置102获取的信息(例如,曝光信息和增益信息)设置为额外信息。另外,例如,图像处理控制部124可以设置与各种区域相关的数据,作为额外信息,例如,指示物理区域的长度的数据、指示输出区域的长度的数据、指示图像格式的数据以及指示数据总量的数据。
编码部126以预定的方案,例如,对应于JPEG(联合摄影专家组)标准的方案,对从图像传感器装置102传送的图像数据进行编码。
在没有从图像处理控制部124获取区域信息的情况下,编码部126将编码图像数据传送到图像数据缓冲器116。在下文中,在某些情况下,编码图像数据(即表示整个编码图像的数据)可以称为“正常数据”。
此外,在从图像处理控制部124获取区域信息的情况下,编码部126将获取的区域信息和对应于该区域的编码区域数据传送到图像数据缓冲器116。
图像处理电路106包括例如区域切出部122、图像处理控制部124和编码部126,从而执行与根据本实施方式的传输方法相关的处理。应当注意,在图12所示的图像处理电路106的功能块中,为了方便起见,划分图像处理电路106的功能,并且在图像处理电路106中划分功能的方式不限于图12所示的示例。
LINK控制电路108针对每一行将帧信息传送到例如ECC生成电路110、PH生成电路112和合成电路118。
ECC生成电路110为每一行设置一个纠错码。基于在帧信息的一行中的数据(例如,VC号、数据类型等),例如,ECC生成电路110为该行生成纠错码。例如,ECC生成电110耦合至PH生成电路112、EBD缓冲器114、图像数据缓冲器116以及合成电路118中的每一个。然后,ECC生成电路110将所产生的纠错码传送给PH生成电路112、EBD缓冲器114、图像数据缓冲器116和合成电路118中的每一个。另外,ECC生成电路110可以与PH生成电路112等协作生成纠错码。
PH生成电路112使用帧信息为每一行生成分组报头。
PH生成电路112可以基于从图像处理电路106(图12的示例中的图像处理控制部124)传送的区域信息来生成分组报头。具体而言,基于区域信息,PH生成电路112在分组报头中设置“指示包括在上述区域信息中的信息是否已经从前一次所要传输的分组中所包含的区域信息中变化的数据(变化信息)”。
EBD缓冲器114是临时保存从图像处理电路106(图12中的图像处理控制部124)传送的额外信息的缓冲器。EBD缓冲器114在预定的时间将额外信息作为“嵌入数据”输出到合成电路118。应当注意,从EBD缓冲器114输出的“嵌入数据”可以经由稍后描述的图像数据缓冲器116传送到合成电路118。
图像数据缓冲器116是临时保存从图像处理电路106(图12中的编码部126)传送的数据(正常数据或区域信息和区域数据)的缓冲器。图像数据缓冲器116在每一行的预定时间向合成电路118输出保存的数据。
例如,合成电路118基于从ECC生成电路110、PH生成电路112、EBD缓冲器114和图像数据缓冲器116中的每一个获取的数据生成要传送的分组。
传输电路120经由数据总线B1(信号的传输路径的示例;下文中,相同的)为每一行传输从合成电路118传送的分组。例如,如图4所示,传输电路120使用高速差分信号传输分组。
例如,在设置了图5所示的区域1、区域2、区域3和区域4的情况下,如图9所示,传输电路120在每一行的长分组中传输设置的区域信息和对应于该区域的区域数据。
此外,在没有设置区域的情况下,即,从图像数据缓冲器116输出正常数据的情况下,传输电路120为每一行传输长分组,其中,对应于每一行的数据存储在有效载荷中。应当注意,同样在这种情况下,传输电路120能够传输额外信息,作为“嵌入数据”。
例如,对应于第一传输方案的图像传感器100具有图12所示的硬件配置。不言而喻,对应于第一传输方案的图像传感器100的硬件配置不限于图12所示的示例。
(1-3-2)对应于第一传输方案的处理器200(接收器)的配置
图13是示出根据本实施方式的传输方法的对应于第一传输方案的处理器200的配置示例的功能框图。为了方便起见,图13仅一起示出了图像传感器100。处理器200包括例如报头分离单元202、报头解释单元204、有效载荷分离单元206、图像处理单元208、算术运算单元210和传输单元212。
报头分离单元202从接收数据中分离对应于报头部分的报头数据和对应于有效载荷部分的有效载荷数据。例如,报头分离单元202根据由标准等预定义的规则从接收的数据中分离报头数据。另外,例如,报头分离单元202可以根据由标准等预定义的规则从接收数据中分离有效载荷数据,或者可以基于报头解释单元204的处理结果从接收数据中分离有效载荷数据。
报头解释单元204解释由报头数据指示的内容。
作为一个示例,在报头数据指示“0x38”的情况下,例如,报头解释单元204将包括在区域信息中的信息解释为已经从前一次所要传输的分组中所包含的区域信息中变化。另外,在这种情况下,报头解释单元204可以将区域信息解释为包括在有效载荷数据中。
作为另一示例,在报头数据指示“0x39”的情况下,例如,报头解释单元204将包括在区域信息中的信息解释为从前一次所要传输的分组中所包含的区域信息中未变化。另外,在这种情况下,报头解释单元204可以将区域信息解释为不包括在有效载荷数据中。
应当注意,报头解释单元204中的处理的示例不限于上述示例。例如,报头解释单元204可以指定有效载荷数据的位置,并将指定的位置传送给报头分离单元202。此外,报头解释单元204还可以解释有效载荷数据是否是“嵌入数据”。
有效载荷分离单元206基于报头解释单元204中的解释结果从有效载荷数据中分离额外信息、区域信息和图像数据(正常数据或区域数据;在下文中,与图13的描述中相同)。
例如,在报头解释单元204中将有效载荷数据解释为“嵌入数据”的情况下,有效载荷分离单元206将有效载荷数据设置为额外信息。
此外,在报头解释单元204中有效载荷数据没有被解释为“嵌入数据”的情况下,有效载荷分离单元206从有效载荷数据中分离区域信息和图像数据。例如,如参考图6、8和9所述,区域信息和区域数据存储在有效载荷中,并且区域信息存储在有效载荷的头部。另外,在从图像传感器100传输正常数据的情况下,区域信息不存储在有效载荷中。因此,有效载荷分离单元206能够通过处理来自头部的有效载荷来分离区域数据和图像数据。
图像处理单元208基于额外信息、区域信息和从有效载荷分离单元206传送的图像数据来处理针对每一行的图像数据,并且获得表示对应于该区域的图像的数据或者表示整个图像的数据。
例如,图像处理单元208可以基于从有效载荷分离单元206传送的信息,确定经由数据总线B1获取的数据是表示对应于区域的图像的数据还是表示整个图像的数据,并且根据确定的结果以处理模式执行处理。
例如,在当首先执行对某一帧的图像的处理时(即,当执行对应于第一行的处理时)传送区域信息的情况下,图像处理单元208确定经由数据总线B1获取的数据是表示对应于该区域的图像的数据。然后,图像处理单元208转换到用于处理区域数据的处理模式,以基于每一行的区域信息和区域数据获得表示对应于该区域的图像的数据。
例如,在当首先执行对某一帧的图像的处理时没有传送区域信息的情况下,图像处理单元208确定经由数据总线B1获取的数据是表示整个图像的数据。然后,图像处理单元208转换到正常处理模式,以基于每一行的正常数据获得表示整个图像的数据。
应当注意,确定经由数据总线B1获取的数据的方法不限于上述示例。例如,在传送关于该区域的信息(例如,指示该区域的数据量的信息、指示该区域的大小的信息和指示该区域的优先级的信息中的一者或两者或多者),作为额外信息的情况下,图像处理单元208可以确定经由数据总线B1获取的数据是表示对应于该区域的图像的数据。
图像处理单元208包括例如解码部214和图像生成部216。
例如,解码部214以对应于图像传感器100中的编码的预定方案解码图像数据。此时,解码部214可以基于额外信息改变处理的内容。
图像生成部216基于区域信息,根据从解码部214解码的每一行的图像数据生成表示对应于区域的图像的数据或表示整个图像的数据。
例如,在当首先执行对某一帧的图像的处理时传送区域信息的情况下,图像生成部216确定从解码部214传送的图像数据是区域数据。另外,在确定图像数据是区域数据的情况下,图像生成部216基于区域信息逐行地划分每一行的区域数据。在此处,要由图像生成部216处理的区域信息可以包括对应于要处理的行的区域信息和对应于已经处理的行的区域信息。
在此处,区域信息基本上包括指示行的位置的信息、关于包括在该行中的区域的标识信息、指示包括在该行中的区域的列的位置的信息、以及指示包括在行中的区域的大小的信息,从而使得图像生成部216能够唯一地指定包括在每一行中的区域数据。因此,图像生成部216能够为每个区域生成表示对应于在某一帧的图像中设置的区域的图像的数据。
此外,在当首先执行对某一帧的图像的处理时没有传送区域信息的情况下,图像生成部216确定要传送的图像数据是正常数据。在确定图像数据是正常数据的情况下,图像生成部216根据从解码部214传送的每一行的图像数据生成表示整个图像的数据。
图像处理单元208包括例如解码部214和图像生成部216,从而获得表示对应于该区域的图像的数据或表示整个图像的数据。
例如,算术运算单元210基于在图像处理单元208中获得的图像数据执行处理。在图像处理单元208中获得的图像数据的示例包括表示整个图像的图像数据、表示对应于该区域的图像的图像数据、以及表示缩小整个图像的图像的图像数据。
基于在图像处理单元208中获得的图像数据的处理的示例包括与将图像数据的控制记录到诸如存储器300等记录介质中相关的处理以及与显示装置400的显示屏上的图像的显示控制相关的处理。
应当注意,算术运算单元210中的处理不限于上述示例。例如,如上所述,算术运算单元210能够执行各种类型的处理,例如,与图像的区域设置相关的处理。
作为与算术运算单元210中的图像的区域设置相关的处理的示例,算术运算单元210通过对在图像处理单元208中获得的图像数据执行各种算术运算来设置区域,例如,与特征点提取相关的算术运算、与运动提取相关的算术运算以及经由机器学习的算术运算。此外,算术运算单元210生成对应于设置区域的区域指定信息。不言而喻,与算术运算单元210中的图像的区域设置相关的处理的示例不限于上述示例。
传输单元212经由控制总线B2、各种信号线等向外部装置传输各种类型的数据(例如,图像数据、控制信息等)。传输单元212的示例包括符合预定标准的通信装置,例如,处理器200中包括的I2C(内部集成电路)和I3C(改进的内部集成电路)。
传输单元212中的通信由例如算术运算单元210控制。算术运算单元210使得传输单元212传输图像数据,从而实现例如将图像数据记录到诸如存储器300等记录介质中,并且在显示装置400的显示屏上显示图像。另外,算术运算单元210使得传输单元212经由控制总线B1向图像传感器100传输包括区域指定信息的控制信息,从而实现向图像传感器100传输指示设置区域的区域指定信息。
处理器200包括例如报头分离单元202、报头解释单元204、有效载荷分离单元206、图像处理单元208、算术运算单元210和传输单元212,从而基于从图像传感器100接收的数据获得表示对应于区域的图像的数据或表示整个图像的数据。应当注意,在图13所示的处理器200的功能块中,为了方便起见,划分处理器200的功能,并且在处理器200中划分功能的方式不限于图13所示的示例。此外,在没有提供向外部装置传输各种类型的数据的功能的情况下,处理器200可以不必包括传输单元212。
(2)第二传输方案
(2-1)根据第二传输方案的处理
图像传感器100在第一分组的有效载荷中存储区域数据,并且在不同于第一分组的每个第二分组中存储包括在区域信息中的每个信息。然后,图像传感器100使得为每一行传输第一分组和第二分组。
根据第二传输方案的第一分组的示例包括MIPI的长分组,并且根据第二传输方案的第二分组的示例包括MIPI的短分组。应当注意,根据本实施方式的第一分组和第二分组的示例不限于上述示例。稍后在第三传输方案中描述根据本实施方式的第一分组和第二分组的其他示例。下面描述的第二传输方案例示了第一分组是MIPI的长分组而第二分组是MIPI的短分组的情况。
图14是示出根据本实施方式的传输方法的通过第二传输方案传输的数据的示例的说明图。图14示出了“由图2所示的MIPI的短分组为每一行传输包括在对应于图5所示的区域1、区域2、区域3和区域4中的每一个的区域信息中的每一个信息的示例”。此外,图14示出了“对应于图5所示的区域1、区域2、区域3和区域4中的每一个的区域数据存储在图3所示的MIPI的长分组的有效载荷中并且为每一行传输的示例”。
图14中所示的“Y”表示存储了指示行位置的信息的短分组。图14中示出的“I1”、“I2”、“I3”和“I4”表示存储分别对应于图5中示出的区域1、区域2、区域3和区域4的多条区域标识信息的短分组。图14中示出的“X1”、“X2”、“X3”和“X4”表示存储指示分别对应于图5中示出的区域1、区域2、区域3和区域4的区域中的列位置的信息的短分组。图14中示出的“L1”、“L2”、“L3”和“L4”表示存储指示分别对应于图5中示出的区域1、区域2、区域3和区域4的区域大小的信息的短分组。
如图6所示,在使用上述(1)中描述的第一传输方案的情况下,区域信息和区域数据存储在单个分组的有效载荷中,例如,MIPI的长分组,并且为每一行传输。
同时,在如图14所示使用第二传输方案的情况下,区域信息和区域数据分别存储在不同的分组中,并且为每一行传输。
此外,如图14所示,同样在使用第二传输方案的情况下,与使用第一传输方案的情况类似,可以传输“嵌入数据”。即,图像传感器100能够传输指示区域的数据量的信息(额外信息的示例)、指示区域大小的信息和指示区域优先级的信息中的一者或两者或多者,作为图14中所示的“嵌入数据”。
此外,在使用第二传输方案的情况下,与使用第一传输方案的情况类似,图像传感器100可以根据确定的结果来确定是否重叠地传输重叠部分的数据,以重叠地传输重叠部分的数据。
(2-2)第二传输方案的特征和优势
根据本实施方式的传输方法的第二传输方案具有例如以下特征。不言而喻,根据本实施方式的传输方法的第二传输方案的特征不限于下面描述的示例。
使用EBD传输额外信息,并使用短分组传输对应于设置区域的区域信息;
在区域信息中包含的信息中,仅传输与变化点对应的信息;
能够处理任意形状的区域。
此外,在第二传输方案中,例如,通过短分组传输的区域信息具有以下特征。不言而喻,根据第二传输方案的区域信息的特征不限于下面描述的示例。
在一行中存在多个相同区域的情况下,通过传输关于存在多个相同区域的数量的相同区域的标识信息来传送关于存在于一行中的多个相同区域的信息;
表示行位置的信息(Y);
递增初始值0(零);
当没有根据预定顺序传输时传输(例如,当稀疏时);
关于区域的标识信息(I);
当区域增加或减少时传输;
在区域的列位置或ROI长度改变的情况下传输;
表示区域的列位置的信息(X);
初始值0(零);
在改变时传输;
作为一组与关于区域的标识信息一起传输;
表示区域大小的信息(L);
肯定是最先传输的行中设置;
在改变时传输;
作为一组与关于区域的标识信息一起传输;
即使有变化,在一行中只有一个区域的情况下也可以省略(因为长分组的有效载荷长度与ROI长度相同)。
此外,第二传输方案具有例如以下优点。
能够纠正区域信息中的错误;
与已经定义的CSI-2标准向后兼容;
能够传送任何区域(ROI)的形状
(2-3)根据第二传输方案的配置示例
接下来,给出对应于上述第二传输方案的图像传感器100的配置的示例和对应于第二传输方案的处理器200的配置的示例的描述(与从图像传感器100传输的数据的处理相关的配置的示例)。
(2-3-1)对应于第二传输方案的图像传感器100(发送器)的配置
图15是示出根据本实施方式的传输方法的对应于第二传输方案的图像传感器100的配置示例的硬件框图。图像传感器100包括例如图像传感器装置102和IC芯片150。图15所示的图像传感器100通过由配置通信系统1000的内部电源(未示出)供电的电力等操作,类似于图12所示的图像传感器100。
图15所示的图像传感器装置102具有与图12所示的图像传感器装置102类似的功能和配置。
IC芯片150是芯片形状的IC,在其上集成了根据第二传输方案的涉及数据传输功能的电路,处理从图像传感器装置102传送的图像数据,并且传输对应于生成的图像的数据。应当注意,涉及通过第二传输方案传输数据的功能的电路不限于以单个IC芯片的形式实现,而是可以由多个IC芯片形成。
IC芯片150包括例如图像处理电路152、LINK控制电路108、ECC生成电路110、PH生成电路154、EBD缓冲器114、图像数据缓冲器116、合成电路156和传输电路120。
图15所示的LINK控制电路108、ECC生成电路110、EBD缓冲器114、图像数据缓冲器116和传输电路120具有分别类似于图12所示的LINK控制电路108、ECC生成电路110、EBD缓冲器114、图像数据缓冲器116和传输电路120的功能和配置。
图像处理电路152是具有执行与根据本实施方式的传输方法相关的处理的功能的单个电路。在执行根据本实施方式的传输方法的处理的情况下,图像处理电路152为图像中的每一行设置区域信息,并且使得LINK控制电路108、ECC生成电路110、PH生成电路154、EBD缓冲器114、图像数据缓冲器116、合成电路156和传输电路120通过第二传输方案为每一行传输设置的区域信息和与区域对应的区域数据。此外,图像处理电路152还能够使得为每一行传输要从图像传感器装置102传送的图像数据(即,表示整个图像的数据)。
图像处理电路152的示例包括处理器,例如,MPU。
通过将图像处理电路152划分成成功能块来给出对图像处理电路152的功能的描述。如图15所示,图像处理电路152包括例如区域切出部122、图像处理控制部124和编码部158。
图15所示的区域切出部122和图像处理控制部124的功能与图12所示的区域切出部122和图像处理控制部124的功能相同。
类似于图12所示的编码部126,编码部158以预定方案对从图像传感器装置102传送的图像数据进行编码。
在没有从图像处理控制部124获取区域信息的情况下,编码部158类似于图12所示的编码部126,将编码图像数据传送到图像数据缓冲器116。
此外,在从图像处理控制部124获取区域信息的情况下,编码部158基于获取的区域信息指定区域,并且将对应于指定区域的编码区域数据传送到图像数据缓冲器116。
图像处理电路152包括例如区域切出部122、图像处理控制部124和编码部158,从而执行与根据本实施方式的传输方法相关的处理。应当注意,在图15所示的图像处理电路152的功能块中,为了方便起见,划分图像处理电路152的功能,并且在图像处理电路152中划分功能的方式不限于图15所示的示例。
基于从图像处理电路152(图15的示例中的图像处理控制部124)传送的区域信息,PH生成电路154生成均存储包括在区域信息中的信息的短分组。
此外,类似于图12所示的PH生成电路112,PH生成电路154使用帧信息为每一行生成长分组的分组报头。
合成电路156基于从ECC生成电路110、PH生成电路154、EBD缓冲器114和图像数据缓冲器116中的每一个获取的数据,生成“存储区域信息的短分组”和“在有效载荷中存储每一行的图像数据(正常数据或区域数据)的长分组”,作为要传送的分组。
传输电路120经由数据总线B1为每一行传输从合成电路156传送的分组。
例如,在设置图5所示的区域1、区域2、区域3和区域4的情况下,如图14所示,传输电路120将包括在区域信息中的每个信息存储在短分组中,并且将区域数据存储在用于为每一行传输的长分组的有效载荷中。
此外,在没有设置区域的情况下,即,在从图像数据缓冲器116输出正常数据的情况下,类似于图12所示的传输电路120,传输电路120为每一行传输长分组,其中,对应于每一行的数据存储在有效载荷中。应当注意,同样在这种情况下,类似于图12所示的传输电路120,传输电路120能够传输额外信息,作为“嵌入数据”。
对应于第二传输方案的图像传感器100具有例如图15所示的硬件配置。不言而喻,对应于第二传输方案的图像传感器100的硬件配置不限于图15所示的示例。
(2-3-2)对应于第二传输方案的处理器200(接收器)的配置
图16是示出根据本实施方式的传输方法的对应于第二传输方案的处理器200的配置示例的功能框图。为了方便起见,图16仅一起示出了图像传感器100。处理器200包括例如分组分离单元250、短分组解释单元252、长分组分离单元254、报头解释单元256、有效载荷解释单元258、图像处理单元208、算术运算单元210和传输单元212。
分组分离单元250从接收的数据中分离短分组和长分组。分组分离单元250检测例如短分组的定界,从而分离短分组和长分组。
短分组解释单元252从从分组分离单元250传送的短分组中提取配置区域信息的各种类型的信息,并将区域信息传送到图像处理单元208。
类似于图13所示的报头分离单元202,长分组分离单元254从分组分离单元250传送的长分组中分离对应于报头部分的报头数据和对应于有效载荷部分的有效载荷数据。
报头解释单元256解释由报头数据指示的内容。例如,报头解释单元256解释有效载荷数据是否是“嵌入数据”。另外,报头解释单元256可以指定有效载荷数据的位置,并将指定的位置传送给长分组分离单元254。
基于报头解释单元256中的解释结果,有效载荷解释单元258从有效载荷数据中提取额外信息或图像数据(正常数据或区域数据;在下文中,与图16的描述中相同)。
例如,在报头解释单元256中将有效载荷数据解释为“嵌入数据”的情况下,有效载荷解释单元258将有效载荷数据设置为额外信息。
此外,在报头解释单元256中有效载荷数据没有被解释为“嵌入数据”的情况下,有效载荷解释单元258将有效载荷数据设置为图像数据。
类似于图13所示的图像处理单元208,图16所示的图像处理单元208基于额外信息、区域信息和图像数据来处理每一行的图像数据,并获得表示对应于该区域的图像的数据或表示整个图像的数据。
类似于图13所示的算术运算单元210,图16所示的算术运算单元210执行各种类型的处理,例如,基于在图像处理单元208中获得的图像数据的处理和与图像的区域设置相关的处理。
类似于图13所示的传输单元212,图16所示的传输单元212经由控制总线B2、各种信号线等向外部装置传输各种类型的数据(例如,图像数据、控制信息等)。
处理器200包括例如分组分离单元250、短分组解释单元252、长分组分离单元254、报头解释单元256、有效载荷解释单元258、图像处理单元208、算术运算单元210和传输单元212,从而使得能够基于从图像传感器100接收的数据获得表示对应于区域的图像的数据或表示整个图像的数据。应当注意,在图16所示的处理器200的功能块中,为了方便起见,划分处理器200的功能,并且在处理器200中划分功能的方式不限于图16所示的示例。此外,类似于图13所示的处理器200,在没有提供向外部装置传输各种类型的数据的功能的情况下,处理器200可以不一定包括传输单元212。
(3)第三传输方案
(3-1)根据第三传输方案的处理
类似于上述(2)中描述的第二传输方案,图像传感器100将区域数据存储在第一分组的有效载荷中,并将包括在区域信息中的信息存储在不同于第一分组的第二分组中。然后,图像传感器100使得为每一行传输第一分组和第二分组。
根据第三传输方案的第一分组的示例包括MIPI的长分组,并且根据第三传输方案的第二分组的示例包括分组报头。即,在第二传输方案中,例如,通过MIPI的短分组传输区域信息,而在第三传输方案中,通过分组报头传输区域信息。
在此处,如图2和图3所示,短分组和分组报头具有相似的结构。因此,与使用上述(2)中描述的第二传输方案的图像传感器100类似,使用第三传输方案的图像传感器100能够传输每一行的区域信息和区域数据。
此外,类似于使用上述(1)中描述的第一传输方案的图像传感器100,使用第三传输方案的图像传感器100可以根据确定的结果确定是否使得重叠地传输重叠部分的数据,以使得重叠地重叠部分的数据。
应当注意,根据第三传输方案的第二分组不限于具有类似于图3所示的分组报头的结构的分组报头。例如,根据第三传输方案的第二分组可以是具有以下配置的分组报头,其中,扩展图2所示的“数据字段”(例如,“数据字段”从2[字节]扩展到3[字节]或更大的分组报头)。在根据第三传输方案的第二分组是具有扩展结构的分组报头的情况下,包括在区域信息中的信息可以存储在一个第二分组中。
此外,在第三传输方案中,存储包括在区域信息中的信息的区域可以是第一分组的一部分。即,在第三传输方案中,也可以将第一分组和第二分组解释为一个分组。
(3-2)第三传输方案的特征和优势
根据本实施方式的传输方法的第三传输方案具有类似于上述(2)中描述的第二传输方案的特征。
此外,第三传输方案具有例如以下优点。
高传输效率;
能够纠正区域信息中的错误;
能够传输任何区域(ROI)的形状。
(3-3)根据第三传输方案的配置示例
对应于第三传输方案的图像传感器100具有例如类似于对应于上述(2)中描述并在图14中示出的第二传输方案的图像传感器100的配置(包括修改示例)。此外,对应于第三传输方案的处理器200具有例如类似于对应于上述(2)中描述并在图15中示出的第二传输方案的处理器200的配置(包括修改示例)。
[4]通过使用根据本实施方式的传输方法实现的效果的示例
例如,使用根据本实施方式的传输方法使得可以实现以下效果。不言而喻,通过使用根据本实施方式的传输方法实现的效果不限于下面描述的示例。
在传输为图像设置的区域(ROI)数据时,没有必要为每个区域划分VC。
在传输为图像设置的区域(ROI)数据时,可以共同传输包含在同一行中的每个区域的数据。
能够仅传输包括在区域信息中的信息中的对应于变化点的信息,从而使得能够进一步减少区域信息的数据量(即,使得能够传送最小区域信息)。
可以处理任意形状的区域,例如,矩形、椭圆形或环形。
即使在如图5中的区域3和区域4中设置的区域彼此重叠的情况下,也可以传送区域数据。
因为在使用第一传输方案的情况下,区域信息存储在用于传输的分组的有效载荷中,所以由于区域信息的传输而没有增加LPS周期。因此,在使用第一传输方案的情况下,区域信息不太可能影响传输效率。
(根据本实施方式的程序)
由计算机中的处理器等执行用于使计算机用作根据本实施方式的发送器的程序(例如,用于使计算机执行与根据本实施方式的传输方法相关的处理的程序),从而使得能够传输为图像设置的任意形状的区域的数据。
此外,通过计算机中的处理器等来执行用于使计算机用作根据本实施方式的发送器的程序,从而使得能够实现通过使用根据本实施方式的上述传输方法获得的效果。
尽管上面已经参考附图详细描述了本公开的优选实施方式,但是本公开的技术范围不限于这些示例。显然,本公开领域的普通技术人员可以在权利要求中描述的技术思想的范围内找到各种变更或修改,并且应当理解,这些变更和修改自然属于本公开的技术范围。
例如,上面给出了用于使计算机用作根据本实施方式的发送器的程序(计算机程序)的描述;然而,根据本实施方式,还可以另外提供存储上述程序的记录介质。
上述配置表示本实施方式的示例,并且自然属于本公开的技术范围。
此外,本文描述的效果仅仅是说明性的或示例性的,而不是限制性的。即,除了上述效果之外或代替上述效果,根据本发明的技术可以实现本领域技术人员从本说明书的描述中显而易见的其他效果。
应当注意,本公开的技术范围还包括以下配置。
(1)一种发送器,包括图像处理器,所述图像处理器为图像中的每一行设置与针对所述图像而设置的区域对应的区域信息,并且
传输针对每一行设置的所述区域信息和与区域对应的区域数据,所述图像处理器通过分析所述图像或基于外部获取的区域指定信息来设置区域,并且
所述区域信息包括指示行的位置的信息和指示该行中包括的区域的列的位置的信息。
(2)根据(1)所述的发送器,其中,所述区域指定信息是从接收器获取,所述区域数据传输至所述接收器。
(3)根据(1)或(2)所述的发送器,其中,
在存在多个区域重叠的重叠部分的情况下,所述图像处理器确定是否使得与所述多个区域中的每个区域所对应的所述区域数据重叠地传输所述重叠部分的数据,并且
在确定执行重叠传输的情况下,所述图像处理器使得重叠地传输所述重叠部分的数据。
(4)根据(3)所述的发送器,其中,所述图像处理器基于包括所述重叠部分的行中的列数来确定是否执行重叠传输。
(5)根据(3)所述的发送器,其中,所述图像处理器基于设置的操作模式来确定是否执行重叠传输。
(6)根据(1)至(5)中任一项所述的发送器,其中,所述区域信息还包括:关于包括在行中的区域的标识信息和指示包括在该行中的区域的大小的信息。
(7)根据(1)至(6)中任一项所述的发送器,其中,所述图像处理器针对多个区域中的每一个区域将包括在所述区域信息中的信息共同设置为区域信息。
(8)根据(7)所述的发送器,其中,在一行中存在相同的多个区域的情况下,所述图像处理器针对存在的区域的数量来设置所述区域信息。
(9)根据(1)至(8)中任一项所述的发送器,其中,所述图像处理器不将从前一次所要传输的行的区域信息中所包含的信息中未变化的信息设置为所述区域信息。
(10)根据(9)所述的发送器,其中,
在将指示区域的列的位置的信息设置为所述区域信息时,所述图像处理器将关于区域的标识信息设置为所述区域信息,并且
在将指示区域大小的信息设置为所述区域信息时,所述图像处理器将关于区域的标识信息设置为所述区域信息。
(11)根据(9)或(10)所述的发送器,其中,
所述图像处理器使得根据预定顺序针对每一行传输所述区域信息和所述区域数据,并且
在用于传输所述区域信息和所述区域数据的行是根据预定顺序的行的情况下,所述图像处理器不将指示行的位置的信息设置为区域信息。
(12)根据(1)至(11)中任一项所述的发送器,其中,所述图像处理器将所述区域信息和所述区域数据存储在分组的有效载荷中,并且使得传输所述区域信息和所述区域数据。
(13)根据(12)所述的发送器,其中,所述区域数据存储在有效载荷的头部。
(14)根据(12)或(13)所述的发送器,其中,所述图像处理器还使得针对每一行传输变化信息,所述变化信息指示包括在所述区域信息中的信息是否已经从前一次所要传输的分组中所包含的区域信息中变化。
(15)根据(14)所述的发送器,其中,在包括在所述区域信息中的信息从前一次所要传输的分组中所包含的区域信息中未变化的情况下,所述图像处理器使得不传输所述区域信息。
(16)根据(12)至(15)中任一项所述的发送器,其中,所述图像处理器还使得传输指示区域的数据量的信息、指示区域大小的信息以及指示区域的优先级的信息中的一者、两者或多者。
(17)根据(12)至(16)中任一项所述的发送器,其中,所述分组包括移动工业处理器接口联盟的长分组。
(18)根据(1)至(11)中任一项所述的发送器,其中,
所述图像处理器将区域数据存储在第一分组的有效载荷中,
所述图像处理器在不同于第一分组的每个第二分组中存储区域信息中包括的每个信息,并且
所述图像处理器使得为每一行传输第一分组和第二分组。
(19)根据(18)所述的发送器,其中,
第一分组包括移动工业处理器接口联盟的长分组,并且
第二分组包括移动工业处理器接口联盟的短分组。
附图标志列表
100图像传感器
102图像传感器装置
104、150IC芯片
106、152图像处理电路
108LINK控制电路
110ECC生成电路
112、154PH生成电路
114 EBD缓冲器
116 图像数据缓冲器
118、156 合成电路
120 传输电路
122 区域切出部
124 图像处理控制部
126、158 编码部
200 处理器
202 报头分离单元
204 报头解释单元
206 有效载荷分离单元
208 图像处理单元
210 算术运算单元
212 传输单元
214 解码部
216 图像生成部
250 分组分离单元
252 短分组解释单元
254 长分组分离单元
256 报头解释单元
258 有效载荷解释单元
300 存储器
400 显示装置
1000 通信系统
B1 数据总线
B2控制总线。

Claims (18)

1.一种发送器,包括图像处理器,所述图像处理器为图像中的每一行设置与针对所述图像而设置的区域对应的区域信息,并且传输针对每一行所设置的区域信息和与区域对应的区域数据,
所述图像处理器通过分析所述图像或基于外部获取的区域指定信息来设置区域,并且
所述区域信息包括指示行的位置的信息和指示该行中包括的区域的列的位置的信息,
其中,所述图像处理器不将从前一次所要传输的行的区域信息中所包含的信息中未变化的信息设置为所述区域信息。
2.根据权利要求1所述的发送器,其中,所述区域指定信息是从接收器获取,所述区域数据传输至所述接收器。
3.根据权利要求1所述的发送器,其中,
在存在多个区域重叠的重叠部分的情况下,所述图像处理器确定是否使得与所述多个区域中的每个区域所对应的所述区域数据重叠地传输所述重叠部分的数据,并且
在确定执行重叠传输的情况下,所述图像处理器使得重叠地传输所述重叠部分的数据。
4.根据权利要求3所述的发送器,其中,所述图像处理器基于包括所述重叠部分的行中的列数来确定是否执行重叠传输。
5.根据权利要求3所述的发送器,其中,所述图像处理器基于设置的操作模式来确定是否执行重叠传输。
6.根据权利要求1所述的发送器,其中,所述区域信息还包括:关于包括在行中的区域的标识信息和指示包括在该行中的区域的大小的信息。
7.根据权利要求1所述的发送器,其中,所述图像处理器针对多个区域中的每一个区域将包括在所述区域信息中的信息共同设置为区域信息。
8.根据权利要求7所述的发送器,其中,在一行中存在相同的多个区域的情况下,所述图像处理器针对存在的区域的数量来设置所述区域信息。
9.根据权利要求1所述的发送器,其中,
在将指示区域的列的位置的信息设置为所述区域信息时,所述图像处理器将关于区域的标识信息设置为所述区域信息,并且
在将指示区域大小的信息设置为所述区域信息时,所述图像处理器将关于区域的标识信息设置为所述区域信息。
10.根据权利要求1所述的发送器,其中,
所述图像处理器使得根据预定顺序针对每一行传输所述区域信息和所述区域数据,并且
在用于传输所述区域信息和所述区域数据的行是根据预定顺序的行的情况下,所述图像处理器不将指示行的位置的信息设置为区域信息。
11.根据权利要求1所述的发送器,其中,所述图像处理器将所述区域信息和所述区域数据存储在分组的有效载荷中,并且使得传输所述区域信息和所述区域数据。
12.根据权利要求11所述的发送器,其中,所述区域数据存储在有效载荷的头部。
13.根据权利要求11所述的发送器,其中,所述图像处理器还使得针对每一行传输变化信息,所述变化信息指示包括在所述区域信息中的信息是否已经从前一次所要传输的分组中所包含的区域信息中变化。
14.根据权利要求13所述的发送器,其中,在包括在所述区域信息中的信息从前一次所要传输的分组中所包含的区域信息中未变化的情况下,所述图像处理器使得不传输所述区域信息。
15.根据权利要求11所述的发送器,其中,所述图像处理器还使得传输指示区域的数据量的信息、指示区域大小的信息以及指示区域的优先级的信息中的一者、两者或多者。
16.根据权利要求11所述的发送器,其中,所述分组包括移动工业处理器接口联盟的长分组。
17.根据权利要求1所述的发送器,其中,
所述图像处理器将区域数据存储在第一分组的有效载荷中,
所述图像处理器在不同于所述第一分组的每个第二分组中存储所述区域信息中包括的每个信息,并且
所述图像处理器使得针对每一行传输所述第一分组和所述第二分组。
18.根据权利要求17所述的发送器,其中,
所述第一分组包括移动工业处理器接口联盟的长分组,并且所述第二分组包括移动工业处理器接口联盟的短分组。
CN201880071046.9A 2017-11-10 2018-08-27 发送器 Active CN111295885B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-217833 2017-11-10
JP2017217833 2017-11-10
PCT/JP2018/031565 WO2019092952A1 (ja) 2017-11-10 2018-08-27 送信装置

Publications (2)

Publication Number Publication Date
CN111295885A CN111295885A (zh) 2020-06-16
CN111295885B true CN111295885B (zh) 2023-05-30

Family

ID=66439147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880071046.9A Active CN111295885B (zh) 2017-11-10 2018-08-27 发送器

Country Status (7)

Country Link
US (1) US11606527B2 (zh)
EP (1) EP3709662A4 (zh)
JP (1) JP7277373B2 (zh)
KR (1) KR102641559B1 (zh)
CN (1) CN111295885B (zh)
TW (1) TW201924324A (zh)
WO (1) WO2019092952A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202029002A (zh) * 2018-12-20 2020-08-01 日商索尼半導體解決方案公司 通信裝置、通信方法及程式
EP3993435A4 (en) * 2019-06-28 2022-08-31 Sony Semiconductor Solutions Corporation SENDING DEVICE, RECEIVING DEVICE, AND TRANSMISSION SYSTEM
EP3993390A4 (en) * 2019-06-28 2022-08-31 Sony Semiconductor Solutions Corporation TRANSMITTER, RECEIVER AND COMMUNICATION SYSTEM
WO2020261814A1 (ja) 2019-06-28 2020-12-30 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置及び伝送システム
US12052515B2 (en) 2019-06-28 2024-07-30 Sony Semiconductor Solutions Corporation Transmitting apparatus, receiving apparatus, and transmission system
CN112766265B (zh) * 2021-01-27 2023-11-14 厦门树冠科技有限公司 一种任意形状roi截取方法、系统、介质及设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3197894B2 (ja) * 1989-05-22 2001-08-13 株式会社リコー 画像伝送装置
JP2005142654A (ja) * 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
GB0416496D0 (en) * 2004-07-23 2004-08-25 Council Of The Central Lab Of Imaging device
JP2006109001A (ja) * 2004-10-04 2006-04-20 Toshiba Teli Corp 撮像装置及び画像データ伝送処理装置及び画像データ受信装置
US20090097704A1 (en) * 2007-10-10 2009-04-16 Micron Technology, Inc. On-chip camera system for multiple object tracking and identification
JP2012150152A (ja) * 2011-01-17 2012-08-09 Renesas Electronics Corp データ処理装置及び半導体装置
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
KR101973822B1 (ko) * 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP5932376B2 (ja) * 2012-02-08 2016-06-08 富士機械製造株式会社 画像転送方法および画像転送装置
JP5700703B2 (ja) 2012-08-20 2015-04-15 日本電信電話株式会社 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
US9979904B2 (en) * 2013-01-25 2018-05-22 Innovaciones Microelectrónicas S.L. (Anafocus) Advanced region of interest function for image sensors
US20150049105A1 (en) * 2013-08-13 2015-02-19 Mediatek Inc. Data processing apparatus for transmitting/receiving indication information of pixel data grouping setting via display interface and related data processing method
US9258485B2 (en) * 2014-03-24 2016-02-09 Omnivision Technologies, Inc. Image sensor cropping images in response to cropping coordinate feedback
JP6367605B2 (ja) * 2014-05-13 2018-08-01 株式会社Fuji 画像転送方法および画像転送装置
US10009544B2 (en) * 2014-09-02 2018-06-26 Canon Kabushiki Kaisha Image capturing apparatus, control method of the same and image sensor
JP6604019B2 (ja) 2015-04-14 2019-11-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
KR102386385B1 (ko) * 2017-07-21 2022-04-15 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 압축 방법

Also Published As

Publication number Publication date
EP3709662A1 (en) 2020-09-16
TW201924324A (zh) 2019-06-16
WO2019092952A1 (ja) 2019-05-16
KR20200087751A (ko) 2020-07-21
EP3709662A4 (en) 2020-12-30
KR102641559B1 (ko) 2024-02-28
JP7277373B2 (ja) 2023-05-18
US11606527B2 (en) 2023-03-14
CN111295885A (zh) 2020-06-16
US20200275046A1 (en) 2020-08-27
JPWO2019092952A1 (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
CN111295885B (zh) 发送器
CN111295887B (zh) 具有感兴趣区域模式选择的发送装置和方法
US20200186841A1 (en) Picture transmission device and picture reception device
TWI812609B (zh) 視訊傳輸裝置及視訊接收裝置
US12058438B2 (en) Image processing apparatus and image processing system with gain correction based on correction control information
US20220272208A1 (en) Transmitter, receiver, and communication system
KR102499187B1 (ko) 카메라를 이용하여 획득한 이미지를 압축 처리하는 전자 장치 및 그 동작 방법
JP7152475B2 (ja) 送信装置、受信装置、及び通信システム
JP7414733B2 (ja) 受信装置および送信装置
CN113170029B (zh) 图像处理装置和图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant