CN111295887A - 具有感兴趣区域模式选择的发送装置和方法 - Google Patents

Abstract

提供了一种发送装置，包括：图像处理单元，其为图像中的每一行设置与图像中设置的区域相对应的区域信息，并且使得针对每一行发送与区域相对应的设置的区域信息和区域数据。区域信息包括指示行的位置的信息和指示行中包括的区域的列的位置的信息。

Description

具有感兴趣区域模式选择的发送装置和方法

交叉引用相关申请

本申请要求2017年11月10日提交的日本优先权专利申请JP2017-217484的权益，其全部内容通过引用结合于此。

技术领域

本公开涉及一种发送装置。

背景技术

已经开发了用于切割由成像装置捕捉的图像的部分区域并传送切割区域的数据的技术。例如，在下面的PTL 1中描述的技术可以在上述技术中列出。另外，例如，在下面的专利文献2至4中描述的技术可以在用于切割图像的部分区域的技术中列出。

引文列表

专利文献

PTL 1：JP 2016-201756A

PTL 2：JP 2013-164834

PTL 3：JP 2012-209831A

PTL 4：JP 2014-39219A

发明内容

技术问题

例如，在使用PTL 1中描述的技术的情况下，可以从图像中切割部分区域并传送切割区域的数据。因此，由于与在传送整个图像的情况下相比，在传送通过使用PTL 1中描述的技术切割的区域的图像的情况下的传送相关的数据量更小，所以存在优点，例如，缩短传送时间的优点。

然而，根据PTL 1中描述的技术的切割区域是矩形区域，而没有特别考虑传送在具有另一形状的区域的数据。此外，根据PTL 2至PTL 4中描述的切割图像的部分区域的技术，切割区域也是矩形区域。因此，使用PTL 1至PTL 4中的现有技术，难以传送图像中设置有任意形状的区域中的数据。

本公开将提出一种新颖且改进的发送装置，其能够传送图像中设置有任意形状的区域中的数据。

问题解决方案

根据本公开的实施方式，提供了一种发送装置，包括：图像处理单元，其为图像中的每一行设置与图像中设置的区域相对应的区域信息，并且使得针对每一行发送设置的区域信息和与区域相对应的区域数据。区域信息包括指示行的位置的信息和指示行中包括的区域的列的位置的信息。

发明的有益效果

根据本公开的实施方式，可以发送设置在图像中的具有任意形状的区域中的数据。

注意，上述效果不一定是限制性的。利用或代替上述效果，可以实现本说明书中描述的任何一种效果或可以从本说明书中理解的其他效果。

附图说明

[图1]图1是示出根据实施方式的通信系统的配置示例的说明图。

[图2]图2是示出由MIPI CSI-2标准定义的分组格式的说明图。

[图3]图3是示出由MIPI CSI-2标准定义的分组格式的说明图。

[图4]图4是示出与根据MIPI CSI-2标准的分组发送相关的信号波形的示例的说明图。

[图5]图5是示出图像中设置的区域的示例的说明图。

[图6]图6是示出根据与根据实施方式的发送方法相关的第一发送方案发送的数据的示例的说明图。

[图7]图7是用于描述根据与根据实施方式的发送方法相关的第一发送方案发送的嵌入数据的示例的说明图。

[图8]图8是示出根据与根据实施方式的发送方法相关的第一发送方案发送的长分组的配置的示例的说明图。

[图9]图9是示出根据与根据实施方式的发送方法相关的第一发送方案发送的数据的示例的说明图。

[图10]图10是示出对应于与根据实施方式的发送方法相关的第一发送方案的图像传感器的配置的示例的硬件框图。

[图11]图11是示出与根据实施方式的发送方法相关的第一发送方案兼容的处理器的配置的示例的功能框图。

[图12]图12是示出根据与根据实施方式的发送方法相关的第二发送方案发送的数据的示例的说明图。

[图13]图13是示出与根据实施方式的发送方法相关的第二发送方案兼容的图像传感器的配置的示例的硬件框图。

[图14]图14是示出与根据实施方式的发送方法相关的第二发送方案兼容的处理器的配置的示例的功能框图。

具体实施方式

在下文中，将参考附图详细描述本公开的优选实施方式。注意，在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且省略了这些结构元件的重复说明。

此外，下面显示的顺序将用于下面的描述。

1.根据实施方式的发送方法

<1>可以应用根据实施方式的发送方法的通信系统的配置

<2>根据实施方式的通信系统的应用示例

<3>根据实施方式的发送方法

<4>通过所使用的根据实施方式的发送方法实现的优点的示例

2.根据实施方式的程序

<<根据实施方式的发送方法>>

<1>可以应用根据实施方式的发送方法的通信系统的配置

首先，将描述可以应用根据实施方式的发送方法的通信系统的配置的示例。

在以下描述中，将例示包括在根据实施方式的通信系统中的装置之间的通信方案是根据移动工业处理器接口(MIPI)相机串行接口2(CSI-2)标准的通信方案的情况。注意，根据该实施方式的通信系统中包括的装置之间的通信方案不限于根据MIPI CSI-2标准的通信方案。例如，包括在根据该实施方式的通信系统中的装置之间的通信可以是由MIPI联盟定义的另一标准，例如，根据MIPI CSI-3标准的通信方案或者根据MIPI显示串行接口(DSI)的通信方案。此外，毫无疑问，可以应用根据实施方式的发送方法的通信方案不限于与MIPI联盟定义的标准相关的通信方案。

图1是示出根据实施方式的通信系统1000的配置示例的说明图。作为通信系统1000，例如，例示了诸如智能手机、无人驾驶飞机(能够通过远程操作或自主操作来执行操作的设备)等通信装置、诸如车辆等移动体等。注意，通信系统1000的应用示例不限于上述示例。稍后将描述通信系统1000的其他应用示例。

例如，通信系统1000具有图像传感器100、处理器200、存储器300和显示装置400。

图像传感器100具有成像功能和发送功能，并且发送数据，该数据指示通过图像捕捉生成的图像。处理器200接收从图像传感器100发送的数据，并处理接收的数据。即，在通信系统1000中，图像传感器100用作发送装置，处理器200用作接收装置。

注意，尽管图1示出了具有一个图像传感器100的通信系统1000，但是根据实施方式的通信系统具有的图像传感器100的数量不限于图1所示的示例。例如，根据该实施方式的通信系统可以具有两个或更多个图像传感器100。

此外，尽管图1示出了具有一个处理器200的通信系统1000，但是根据该实施方式的通信系统具有的处理器200的数量不限于图1所示的示例。例如，根据该实施方式的通信系统可以具有两个或更多个处理器200。

在具有多个图像传感器100和多个处理器200的通信系统中，图像传感器100和处理器200可以一一对应，或者一个处理器200可以与多个图像传感器100对应。或者，在具有多个图像传感器100和多个处理器200的通信系统中，多个处理器200可以与一个图像传感器100对应。

即使在具有多个图像传感器100和多个处理器200的通信系统中，也与图1所示的通信系统1000类似地在图像传感器100和处理器200之间执行通信。

图像传感器100和处理器200通过数据总线B1彼此电连接。数据总线B1是用于连接图像传感器100和处理器200的一个信号的传送路径。例如，指示从图像传感器100发送的图像的数据(在某些情况下在下文中称为“图像数据”)经由数据总线B1从图像传感器100传送到处理器200。

在通信系统1000中经由数据总线B1传送的信号根据按照预定标准(例如，MIPICSI-2标准)的通信方案来传送。

图2和图3是示出由MIPI CSI-2标准定义的分组格式的说明图。图2示出了由MIPICSI-2标准定义的短分组的格式，图3示出了由MIPI CSI-2标准定义的长分组的格式。

长分组是包括分组报头(图3中示出的“PH”)、有效载荷(图3中示出的“有效载荷数据”)和分组报尾(图3中示出的“PF”)的数据。短分组是具有类似于如图2所示的分组报头(图3中所示的“PH”)的结构的数据。

虚拟信道(VC)号(图2和图3所示的“VC”；VC值)记录在短分组和长分组两者的报头部分中，并且任意VC号可以应用于每个分组。处理应用相同VC号的分组，作为属于同一图像数据的分组。

此外，数据类型(DT)值(图2和3中所示的“数据类型”)记录在短分组和长分组两者的报头部分中。因此，类似于VC号，也可以处理已经应用了相同DT值的分组，作为属于同一像数据的分组。

分组的结尾作为字数记录在长分组的报头部分中的字数计数(WordCount)。纠错码记录在短分组和长分组两者的报头部分中的ECC中。

根据MIPI CSI-2标准，在传送数据信号的时段中使用高速差分信号，在数据信号的消隐时段中使用低功率信号。另外，期间使用高速差分信号的时段称为高速状态(HPS)时段，而期间使用低功率信号的时段称为低功率状态(LPS)时段。

图4是示出与根据MIPI CSI-2标准的分组发送相关的信号波形的示例的说明图。图4中的A示出了分组传送的示例，图4中的B示出了分组传送的另一示例。图4中所示的“ST”、“ET”、“PH”、“PF”、“SP”和“PS”具有以下含义。

-ST：发送开始

-ET：发送结束

-PH：分组报头

-PF：分组报尾

-SP：短分组

-PS：分组间隔

如图4所示，可以认识到，在LPS时段(图4所示的“LPS”)中的差分信号和在HPS时段(图4所示的“LPS”以外的时段)中的差分信号的幅度彼此不同。因此，考虑到提高传送效率，希望尽可能少地包括LPS时段。

图像传感器100和处理器200通过例如不同于数据总线B1的控制总线B2彼此电连接。控制总线B2是用于其它信号的传送路径，并将图像传感器100连接到处理器200。例如，从处理器200输出的控制信息经由控制总线B2从处理器200发送到图像传感器100。

例如，控制信息包括用于控制和处理命令的信息。作为用于控制的信息，例示了用于控制图像传感器100的功能的数据，例如，指示图像尺寸的数据、指示帧速率的数据和指示从接收图像输出命令到图像输出的输出延迟量的数据中的一个或两个或更多个。此外，控制信息可以包括指示图像传感器100的标识信息。作为标识信息，例示了可以用来指明图像传感器100的任意数据，例如，为图像传感器100设置的ID。

注意，经由控制总线B2从处理器200传送到图像传感器100的信息不限于上述示例。例如，处理器200可以经由控制总线B2传送指定图像中的区域的区域指定信息。作为区域指定信息，例示了可以利用其指定区域的任意形式的数据，例如，指示包括在该区域中的像素的位置的数据(例如，使用坐标表示包括在该区域中的像素的位置的坐标数据)。

尽管图1示出了图像传感器100和处理器200通过控制总线B2彼此电连接的示例，但是图像传感器100和处理器200可以未通过控制总线B2连接。例如，图像传感器100和处理器200可以通过任意通信方案的无线通信来发送和接收控制信息等。

在下文中，将描述包括在图1所示的通信系统1000中的各个装置。

<1-1>存储器300

存储器300是通信系统1000具有的记录介质。作为存储器300，例示了诸如随机存取存储器(RAM)等易失性存储器或者诸如闪存等非易失性存储器。存储器300使用由包括在通信系统1000中的例如电池的内部电源(未示出)提供的电力或者由通信系统1000的外部电源提供的电力来运行。

例如，从图像传感器100输出的图像存储在存储器300中。例如，由处理器200控制图像在存储器300中的记录。

<1-2>显示装置400

显示装置400是通信系统1000具有的显示装置。作为显示装置400，例示了液晶显示器和有机电致发光显示器(有机EL显示器)，也称为有机发光二极管显示器(OLED显示器)。显示装置400使用由包括在通信系统1000中的例如电池的内部电源(未示出)提供的电力或者由通信系统1000的外部电源提供的电力来运行。

在显示装置400的显示屏幕上显示各种图像和画面，例如，从图像传感器100输出的图像、与处理器200执行的应用程序相关的画面、以及与用户界面(UI)相关的画面。例如，由处理器200控制显示装置400的显示屏上的图像等的显示。

<1-3>处理器200(接收装置)

处理器200接收从图像传感器100发送的数据，并处理接收的数据。如上所述，处理器200用作通信系统1000中的接收装置。稍后将描述与处理从图像传感器100发送的数据相关的配置(用作接收装置的配置)的示例。

处理器200包括一个或两个或多个处理器、包括例如微处理单元(MPU)等算术电路的各种处理电路等。处理器200使用由包括在通信系统1000中的例如电池的内部电源(未示出)提供的电力或者由通信系统1000的外部电源提供的电力来运行。

例如，处理器200执行各种处理，例如，与控制在诸如存储器300等记录介质中记录图像数据相关的处理、与控制在显示装置400的显示屏上显示图像相关的处理、以及执行任意应用软件的处理。作为与记录控制相关的处理，例示了“将包括记录命令的控制数据和促使记录在记录介质中的数据传送到诸如存储器300等记录介质的处理”。此外，作为与显示器的控制相关的处理，例示了“将包括显示命令的控制数据和促使在显示屏上显示的数据传送到显示装置(例如，显示装置400)的处理”。

此外，例如，处理器200可以通过向图像传感器100发送控制信息来控制图像传感器100的功能。例如，处理器200还可以通过向图像传感器100发送区域指定信息来控制要从图像传感器100发送的数据。

<1-4>图像传感器100(发送装置)

图像传感器100具有成像功能和发送功能，并且发送指示通过图像捕捉生成的图像的数据。如上所述，图像传感器100用作通信系统1000中的发送装置。

图像传感器100包括“诸如数码相机、数字视频相机或立体相机等成像装置”或能够生成图像的任意方案的图像传感器装置，例如，“红外传感器”和“距离图像传感器”，并且具有发送所生成的图像的功能。由图像传感器100生成的图像对应于指示图像传感器100的感测结果的数据。稍后将描述图像传感器100的配置的示例。

图像传感器100根据按照实施方式的发送方法发送对应于图像中设置的区域的数据(以下称为“区域数据”)，这将在后面描述。例如，与区域数据的发送相关的控制由用作图像传感器100中的图像处理单元的组件(稍后将描述)来执行。在某些情况下，图像中设置的区域称为感兴趣区域(ROI)。在下文中，在某些情况下，图像中设置的区域表示为“ROI”。

作为与图像中的区域的设置相关的处理，示例了利用其能够指定图像中的部分区域的任意处理(或者能够从图像中切割出部分区域的任意处理)，例如，“检测图像中的对象并设置包括检测到的对象的区域的处理”或者“设置由在任意操作装置等上执行的操作指定的区域的处理”。

与图像中区域的设置相关的处理可以由图像传感器100执行，或者可以由诸如处理器200等外部装置执行。在图像传感器100执行与设置图像中的区域相关的处理的情况下，图像传感器100根据与图像中区域的设置相关的处理的结果来指明该区域。或者，例如，在由外部装置执行与图像中的区域的设置相关的处理的情况下，图像传感器100基于从外部装置获取的区域指定信息来指明该区域。

因为发送了区域数据，即，图像的部分数据，所以与发送相关的数据量变得小于发送整个图像时的数据量。因此，通过图像传感器100发送区域数据实现了通过减少数据量实现的各种优点，例如，在通信系统1000中缩短了传送时间并且减少了与传送相关的负荷。

注意，图像传感器100还可以发送指示整个图像的数据。

在图像传感器100具有发送区域数据的功能和发送指示整个图像的数据的功能的情况下，图像传感器100可以以选择性切换的方式执行区域数据的发送和指示整个图像的数据的发送。

例如，根据设置的操作模式，图像传感器100发送区域数据或发送指示整个图像的数据。例如，通过在任意操作装置上执行的操作来执行操作模式的设置。

此外，图像传感器100可以基于从外部装置获取的区域指定信息，在区域数据的发送和指示整个图像的数据的发送之间选择性地切换。例如，当从外部装置获取区域指定信息时，图像传感器100发送与区域指定信息对应的区域的区域数据。当没有从外部装置获取区域指定信息时，图像传感器100发送指示整个图像的数据。

例如，通信系统1000具有图1所示的配置。注意，根据实施方式的通信系统的配置不限于图1所示的示例。

例如，尽管图1中图像传感器100被例示为用作发送装置的装置，但是用作发送装置的装置不限于图像传感器100。例如，在根据实施方式的通信系统具有包括诸如成像装置等图像传感器装置和电连接到图像传感器装置的发射器的配置的情况下，发射器可以用作发送装置。

此外，尽管图1中处理器200被例示为用作接收装置的装置，但是用作接收装置的装置不限于处理器200。例如，具有接收数据的功能的任意装置可以用作根据该实施方式的通信系统中的接收装置。

此外，在从图像传感器100发送的图像存储在通信系统外部的记录介质中的情况下，在从图像传感器100发送的图像存储在设置于处理器200中的存储器中的情况下，在未记录从图像传感器100发送的图像的情况下等，根据实施方式的通信系统可以没有存储器300。

此外，根据实施方式的通信系统可以采用通信系统没有图1所示的显示装置400的配置。

此外，根据实施方式的通信系统可以具有根据应用了根据实施方式的通信系统的电子装置的功能的任意配置，这将在后面描述。

<2>根据实施方式的通信系统的应用示例

尽管在上述实施方式中作为示例描述了通信系统，但是实施方式不限于这样的示例。该实施方式可以应用于各种电子装置，例如，诸如智能手机等通信装置、无人驾驶飞机(能够通过远程操作或自主操作来执行操作的设备)、诸如车辆等移动体、诸如个人计算机(PC)等计算机、平板型装置和游戏控制台。

<3>根据实施方式的发送方法

接下来，将描述根据实施方式的发送方法。在下文中，将描述根据实施方式的发送方法应用于图1所示的图像传感器100(根据实施方式的发送装置)的情况，作为示例。与根据实施方式的发送方法相关的处理由例如图像传感器100中用作图像处理单元的IC芯片(稍后将描述)来执行。注意，与根据实施方式的发送方法相关的处理可以由图像传感器100中用作图像处理单元的另一组件来执行。

图5是示出图像中设置的区域的示例的说明图。图5示出了四个区域，即，区域1、区域2、区域3和区域4，作为区域示例。注意，无需多言，图像中设置的区域不限于图5中所示的示例。

如上所述，在使用现有技术的情况下，可以传送矩形区域(例如，图5中的区域1)中的数据。

然而，即使如上所述使用现有技术，也难以传送除了图像中设置的矩形形状之外的具有任意形状的区域(例如，图5中的区域2、区域3和区域4)中的数据。另外，在多个区域设置在一行的情况下(例如，图5中的区域1和区域2)，以及在所设置的区域重叠的情况下(例如，图5中的区域3和区域4)，即使使用现有技术，也难以传送该区域中的数据。在此处，图像中的该行意味着当像素的位置由二维平面坐标(x，y)表示时，y坐标是相同的。

<3-1>基本处理

因此，图像传感器100为图像中的每一行设置与图像中设置的区域相对应的区域信息。

然后，图像传感器100使得针对每一行发送设置的区域信息和对应于该区域的区域数据。图像传感器100使每行的区域信息和区域数据根据预定顺序(例如，y坐标值的升序或降序)发送。此外，图像传感器100可以使每行的区域信息和区域数据以随机顺序发送。

根据实施方式的区域信息是用于在接收装置侧指明图像中设置的区域的数据(数据组)。区域信息包括例如指示行的位置的信息、包括在该行中的区域的标识信息、指示包括在该行中的区域的列的位置的信息、以及指示包括在该行中的区域的大小的信息。

注意，包括在区域信息中的信息可以根据发送方案而改变，这将在稍后描述。例如，包括在行中的区域的标识信息和指示包括在行中的区域的大小的信息之一或两者可以不包括在第二发送方案和第三发送方案中，这将在稍后描述。例如，在通过使用VC号划分区域的情况下，VC号可以用作根据第二发送方案和第三发送方案包括在行中的区域的标识信息，这将在后面描述。此外，在通过使用VC号来划分区域的情况下，可以作为替代而使用有效载荷长度，作为指示根据第二发送方案和第三发送方案包括在行中的区域的大小的信息，这将在后面描述。在下文中，将例示“区域信息包括指示行的位置的信息、包括在该行中的区域的标识信息、指示包括在该行中的区域的列的位置的信息、以及指示包括在该行中的区域的大小的信息的情况”。

作为指示行的位置的信息，例示了利用其可以用来指明行的任意数据，例如，指示y坐标的数的数据或者指示通过递增初始值(例如，“0(零)”)计算的y坐标的值的数据。在下文中，在某些情况下，指示行的位置的信息将称为“Y”。

作为区域的标识信息，例示了利用其能够唯一指明该区域的任意数据，例如，指示区域的ID的数据，例如，应用于该区域的数字。在下文中，在某些情况下，该区域的标识信息将称为“ROI ID”或“I”。

作为指示区域的列的位置的信息，例示了利用其可以用来指明列的任意数据，例如，指示x坐标的数的数据。在下文中，在某些情况下，指示区域中的列的位置的信息将称为“ROI X”或“X”。

作为指示区域大小的信息，例示了利用其可以用来指定区域在行中的大小的任意数据，例如，指示区域在该行中的像素数的数据。在下文中，在某些情况下，区域在该行的大小将称为“ROI长度”、“ROI LEN”，或者称为“L”。

已经通过如上所述的指示行的位置的信息、区域的标识信息、指示区域的列的位置的信息、以及指示在区域信息中设置的区域的大小的信息接收了区域信息的接收装置例如可以执行区域的指明、区域的位置的指明以及ROI长度的指明。此外，可以通过正在执行的RIO长度的指明、区域的指明、区域位置的指明来唯一地指明区域已经设置在行中的哪个位置和哪个ROI长度。

因此，通信系统1000可以通过指示在区域信息中设置的区域的行的位置的信息、区域的标识信息、指示区域的列的位置的信息、以及指示大小的信息，分别与“例如，图5中的区域1的矩形区域中的区域数据”和“具有除了矩形形状之外的例如图5中的区域2、区域3和区域4的任意形状的区域中的区域数据”的传送兼容。

此外，图像传感器100可以在区域信息中为包括在行中的每个区域共同设置要包括在区域信息中的信息。图像传感器100例如针对行中包括的每个区域，在区域信息中共同设置区域的标识信息、指示区域的列的位置的信息以及指示区域的大小的信息。针对每个区域的区域信息的共同设置意味着例如将区域的标识信息、指示区域的列的位置的信息以及指示区域的大小的信息(包括在区域信息中的信息的示例)设置为区域信息中的一组数据。

在此处，因为图像传感器100为每行设置区域信息，所以即使包括多个区域，行的位置也是恒定的。因此，图像传感器100在区域信息中设置指示行的位置的一条信息。注意，不用说，图像传感器100可以为包括在该行中的每个区域共同设置指示行的位置的信息、区域的标识信息、指示区域的列的位置的信息以及指示区域的大小的信息。

例如，已经接收到区域信息的接收装置可以更容易地通过如上所述为包括在该行中的每个区域共同设置的区域的标识信息、指示区域的列的位置的信息以及指示区域的大小的信息来执行区域的指明、区域的位置的指明以及每个区域的ROI长度的指明。此外，可以通过正在执行的区域的指明、区域位置的指明和ROI长度的指明来唯一地指明哪个区域已经设置在行中的哪个位置具有何种ROI长度。

因此，通信系统1000可以通过为包括在该行中的每个区域共同设置的区域的标识信息、指示区域的列的位置的信息以及指示区域的大小的信息，来寻址“在多个区域(例如，图5中的区域1和区域2)设置在一行中的情况下的区域数据的传送”和“在设置的区域(例如，图5中的区域3和区域4)重叠的情况下的区域数据的传送”。

此外，根据设置的区域，多个相同的区域可以出现在一行中，例如，如图5中的区域2所示。因此，在多个相同区域出现在一行中的情况下，图像传感器100可以设置与相同区域的数量对应的区域信息。在多个相同区域出现在一行中的情况下，图像传感器100例如在区域信息中设置对应于当前区域的数量的区域的标识信息、指示区域的列的位置的信息、以及指示区域的大小的信息。

例如，已经接收到区域信息的接收装置可以通过在区域信息中设置的与存在于一行中的相同区域的数量相对应的区域的标识信息、指示区域的列的位置的信息以及指示区域的大小的信息，来执行多个相同区域中的每一个的区域的指明、区域的位置的指明以及ROI长度的指明。

因此，通信系统1000可以通过在区域信息中设置与存在于一行中的多个相同区域的数量相对应的区域信息来解决图5中的区域2中的区域数据的传送。

因此，已经接收到区域信息的接收装置可以通过例如为每一行设置的包括如上所述的各种信息的区域信息来唯一地指明在该行中设置的区域。

注意，包括在区域信息中的信息不限于上述示例。例如，区域信息可以包括其他数据，例如，指示该行中包括的区域的数量的数据(在下文中，在某些情况下称为“ROI的数量”)等。稍后将描述包括在区域信息中的信息的具体示例。

<3-2>异常处理

注意，与根据实施方式的发送方法相关的处理不限于上述基本处理。

(a)异常处理的第一示例

例如，图像传感器100可以不在区域信息中设置区域信息中包括的信息中的以下信息，该信息没有从在紧接之前发送的行中的区域信息中包括的信息改变。即，图像传感器100使以下区域信息发送，该区域信息包括从紧接之前发送区域信息的行开始已经改变的信息。

可以通过如上所述没有发送以下信息来进一步减少区域信息的数据量，该信息没有从紧接之前发送的行中的区域信息中包括的信息改变。区域信息的数据量的减少有助于缩短传送时间和减少与通信系统1000中的传送相关的负荷。

注意，根据其他信息的改变，可以在区域信息中设置信息，即使该信息没有从紧接之前发送的行中的区域信息中包括的信息改变。

例如，当在区域信息中设置指示区域的列的位置的信息时，图像传感器100在区域信息中设置区域的标识信息。另外，当在区域信息中设置指示区域大小的信息时，图像传感器100在区域信息中设置区域的标识信息。即，在区域的x坐标和/或ROI长度从紧接之前发送的行中的区域信息中包括的内容改变的情况下，图像传感器100在区域信息中设置区域的标识信息。

已经接收到区域信息的接收装置可以通过图像传感器100在区域的x坐标和/或ROI长度改变的情况下在区域信息中设置区域的标识信息，唯一地指明对应于改变内容的区域。

(b)异常处理的第二示例

如上所述，图像传感器100可以促使每行的区域信息和区域数据以预定顺序发送。在促使自其发送区域信息和区域数据的行是此时根据预定顺序的行的情况下，图像传感器100可以不在区域信息中设置指示该行的位置的信息。

即使在图像传感器100没有在区域信息中设置指示行的位置的信息的情况下，接收装置也可以通过遵循预定顺序来指明接收的区域信息和区域数据包括在哪一行中。

<3-3>区域信息和区域数据的发送方案

图像传感器100通过执行“上面<3-1>”中描述的基本处理或“上面<3-1>中描述的基本处理和上面<3-2>中描述的异常处理”来发送每行的区域信息和区域数据。接下来，将描述发送区域信息和区域数据的发送方案。

作为区域信息和区域数据的发送方案，例示了以下(1)中描述的第一发送方案、以下(2)中描述的第二发送方案和以下(3)中描述的第三发送方案。

(1)第一发送方案

(1-1)与第一发送方案相关的处理

图像传感器100将区域信息和区域数据存储在分组的有效载荷中，并且使得针对每行发送区域信息和区域数据。

图6是示出在与根据实施方式的发送方法相关的第一发送方案中发送的数据的示例的说明图。图6示出了“一个示例，其中，分别对应于图5所示的区域1、区域2、区域3和区域4的区域信息和区域数据存储在图3所示的MIPI长分组的有效载荷中并且针对每行发送”。

图6中示出的“FS”表示根据MIPI CSI-2标准的帧开始(FS)分组，而图6中示出的“FE”是根据MIPI CSI-2标准的帧结束(FE)分组(同样适用于其他图)。

图6中所示的“嵌入数据”是可以嵌入到要发送的数据的报头或报尾的数据。作为“嵌入数据”，例示了由图像传感器100额外发送的额外信息。在下文中，在某些情况下，嵌入数据将称为“EBD”。

作为根据实施方式的额外信息，例示了指示区域的数据量的信息、指示区域的大小的信息和指示区域的优先级的信息中的一个或两个或更多个。

作为指示区域的数据量的信息，例示了利用其可以指明区域的数据量的任意形式的数据，例如，“区域中包括的像素数(或区域的数据量)和指示报头的数据量的数据”。接收装置可以通过作为图6所示的“嵌入数据”发送的指示区域的数据量的信息来指明每个区域的数据量。即，即使在接收装置没有基于区域信息计算每个区域的数据量的功能的情况下，也可以通过作为图6所示的“嵌入数据”发送的指示区域的数据量的信息，使接收装置指明区域的数据量。

作为指示区域大小的信息，例示了利用其可以指定区域大小的任意形式的数据，例如，“指示包括该区域的矩形区域的数据(例如，指示矩形区域中水平方向的像素数和垂直方向的像素数的数据)”。

例如，指示区域优先级的信息是用于处理区域数据的数据。在一个示例中，在诸如图5中的区域3和区域4等设置区域重叠的情况下执行的处理中，由指示区域优先级的信息指示的优先级用于处理区域的顺序。

注意，根据实施方式的额外信息不限于上述示例。作为根据实施方式的额外信息，例示了各种数据，例如，指示图像传感器装置的曝光值等的曝光信息和指示图像传感器装置的增益的增益信息。在由处理器200经由控制总线B2执行的控制下，在图像传感器装置中设置由曝光信息指示的曝光值和由增益信息指示的增益中的每一个。

图7是用于描述根据与根据实施方式的发送方法相关的第一发送方案发送的嵌入数据的示例的说明图。图7示出了一个示例，其中，发送指示区域大小的信息，作为图6中所示的“嵌入数据”，并且指示区域大小的发送信息是指示包括该区域的最小矩形区域的数据。另外，图7示出了与图5类似地设置了四个区域(即，区域1、区域2、区域3和区域4)的示例。

接收装置可以通过作为图6中所示的“嵌入数据”发送的指示区域大小的信息，来指明图7中示为R1的包括区域1的最小矩形区域、图7中示为R2的包括区域2的最小矩形区域、图7中示为R3的包括区域3的最小矩形区域、以及图7中示为R4的包括区域4的最小矩形区域。即，即使在接收装置没有基于区域信息指明包括每个区域的最小矩形区域的功能的情况下，通过作为图6中所示的“嵌入数据”发送的指示区域大小的信息也可以使接收装置基于区域信息指明包括每个区域的最小矩形区域。注意，不用说，指示区域大小的信息不限于指示包括每个区域的最小矩形区域的数据。

作为指示区域优先级的信息，例示了利用其可以指明区域优先级的任意形式的数据，例如，其中ROI ID按照从最高优先级开始的顺序排列的数据或者其中ROI ID按照从最低优先级开始的顺序排列的数据。接收装置可以通过作为图6中所示的“嵌入数据”发送的指示区域优先级的信息，指明区域的处理顺序或者将优先处理哪个区域。即，可以通过作为图6中所示的“嵌入数据”发送的指示区域优先级的信息，来控制接收装置对区域执行的处理。

注意，不用说，作为图6所示的“嵌入数据”发送的指示区域的数据量的信息、指示区域的大小的信息以及指示区域的优先级的信息的各个示例不限于上述示例。

图6中所示的“PH”是长分组的分组报头。在此处，与第一发送方案相关的长分组的分组报头还可以用作以下数据(变化信息)，该数据指示包括在区域信息中的信息是否已经从包括在紧接之前发送的分组中的区域信息改变。即，可以规定，图6中所示的“PH”是指示长分组的数据类型的数据。

在一个示例中，在包括在区域信息中的信息已经从包括在紧接之前发送的分组中的区域信息改变的情况下，图像传感器100将“0x38”设置在“PH”中。在这种情况下，图像传感器100将区域信息存储在长分组的有效载荷中。

在另一示例中，在包括在区域信息中的信息没有从包括在紧接之前发送的分组中的区域信息改变的情况下，图像传感器100将“0x39”设置在“PH”中。在这种情况下，图像传感器100不将区域信息存储在长分组的有效载荷中。即，在包括在区域信息中的信息没有从包括在紧接之前发送的分组中的区域信息改变的情况下，图像传感器100不发送区域信息。

注意，不用说，设置在“PH”中的数据不限于上述示例。

图6中所示的“信息”是存储在有效载荷中的区域信息(同样适用于其他图)。如图6所示，区域信息存储在有效载荷的头部。在下文中，在某些情况下，区域信息将称为“ROI信息”。

图6中示出的“1”、“2”、“3”和“4”中的每一个对应于存储在有效载荷中的区域1的区域数据、区域2的区域数据、区域3的区域数据和区域4的区域数据(同样适用于其他图)。注意，尽管在图6中以划分的方式示出了各条区域数据，但是这表示为了方便的划分，并且在要存储在有效载荷中的数据中没有划分(这同样适用于其他图)。在下文中，在某些情况下，区域数据将称为“ROI数据”。

图8是示出根据与根据实施方式的发送方法相关的第一发送方案发送的长分组的配置的示例的说明图。

图8所示的“ROI信息类型”是表示“ROI信息参数”的传送方案的数据。已经接收到区域信息的接收装置可以通过设置“ROI信息类型”来唯一地指明“ROI信息参数”的内容。

此外，“ROI信息类型”对应于指示长分组的数据类型的其他数据。即，对于与第一发送方案相关的长分组，两个项(即，“PH”和“ROI信息类型”)被定义为长分组的数据类型。

例如，“ROI信息类型”是1字节的数据，当用Verilog-HDL描述表示时，具有以下含义。注意，不用说，“ROI信息类型”不限于1字节的数据。

-〔7:4〕…保留。

-〔3〕…〔1’b1〕：传送Y，〔1’b0〕：未传送Y。

-〔2〕…〔1’b1〕：传送ROI ID，〔1’b0〕：未传送ROI ID。

-〔1〕…〔1’b1〕：传送X，〔1’b0〕：未传送X

-〔0〕…〔1’b1〕：传送ROI长度，〔1’b0〕：未传送ROI长度。

此外，根据“ROI信息类型”的数据存储在图8所示的“ROI信息参数”中。

注意，例如，与第一发送方案相关的区域信息可以包括指示该区域的x坐标和ROI长度都没有从紧接之前发送的分组中包括的区域信息改变的标志(以下称为“NO CHANGE标志”)。在NO CHANGE标志指示没有变化的情况下(例如，在NO CHANGE标志是1’b1的情况下)，可以省略上述“ROI信息类型”的〔1〕和〔0〕。

作为NO CHANGE标志，例示了ROI ID的最高有效位。注意，NOCHANGE标志可能是独立于ROI ID的数据。

图9是示出根据与根据实施方式的发送方法相关的第一发送方案发送的数据的示例的说明图，并且是具体示出根据图8中示出的长分组的配置的图6中示出的数据的示图。

在第一发送方案中，例如对应于图5中所示的区域1、区域2、区域3和区域4中的每一个的区域信息和区域数据存储在图9中所示的MIPI长分组的有效载荷中，并且针对每行发送。

如上所述，图像传感器100可以将指示区域的数据量的信息、指示区域的大小的信息和指示区域的优先级的信息(额外信息的一个示例)中的一个或两个或更多个作为图6所示的“嵌入数据”进行发送。

(1-2)第一发送方案的特征和优点

例如，与根据实施方式的发送方法相关的第一发送方案具有下面描述的特征。注意，不用说，与根据实施方式的发送方法相关的第一发送方案具有的特征不限于下面描述的示例。

-额外信息由EBD发送，对应于设置区域的区域信息由有效载荷发送。

-仅发送与包含在区域信息中的信息中的变化点相对应的信息。

-可以寻址任意形状的任何区域。

此外，例如，在第一发送方案中，存储在有效载荷的头部并随后发送的区域信息具有如下所述的特征。注意，不用说，与第一发送方案相关的区域信息具有的特征不限于下面描述的示例。

-为区域传送定义了长分组的两种数据类型。

-传送区域信息时使用一种数据类型(例如，指示“0x38”的数据)。

-另一种用于以下情况，其中，区域信息与紧接之前发送的分组中包括的区域信息相同(例如，指示“0x39”的数据)。

-由于不存在与稍后将描述的第二发送方案相关的短分组不同的分割，所以发送参数传送格式。

-在一行中存在多个相同区域的情况下，通过发送与当前区域的数量相对应的相同区域的标识信息来传送一行中存在的多个相同区域的信息。

-指示行位置的信息(Y)。

-递增初始值0(零)。

-当发送不遵循预定顺序时发送(例如，执行稀疏)。

-NO CHANGE标志。

-通过利用该区域的标识信息(ROI ID)的MSB来执行发送。-该区域的标识信息(I)。

-当区域增大或减小时发送。

-在区域的列的位置和OI长度改变的情况下发送。

-指示区域的列位置的信息(X)。

-初始值0(零)。

-发生某种变化时发送。

-作为一个集合与区域的标识信息一起发送。

-指示区域大小的信息(L)。

-对于首先发送的行，务必进行设置。

-发生某种变化时发送。

-作为一个集合与区域的标识信息一起发送。

此外，例如，第一发送方案具有下面描述的优点。

-发送效率高。

-与已经定义的CSI-2标准有向后兼容性。

-可以传送任意形状的任何区域(ROI)。

(1-3)与第一发送方案相关的配置示例

接下来，将描述与前述第一发送方案兼容的图像传感器100的配置的示例和与第一发送方案兼容的处理器200的配置的示例(与从图像传感器100发送的数据的处理相关的配置的示例)。

(1-3-1)与第一发送方案兼容的图像传感器100(发送装置)的配置

图10是示出与根据实施方式的发送方法相关的第一发送方案兼容的图像传感器100的配置的示例的硬件框图。例如，图像传感器100包括图像传感器装置102和IC芯片104。图10中示出的图像传感器100使用从通信系统1000中包括的例如电池的内部电源(未示出)提供的电力或者从通信系统1000的外部电源提供的电力来运行。

图像传感器装置102是“诸如数码相机等成像装置”或能够生成图像的任意方案的图像传感器装置，例如，“红外传感器”或“距离图像传感器”。

在一个示例中，用作图像传感器装置102的成像装置包括透镜/成像元件和信号处理电路。

透镜/成像元件包括例如光学系统透镜和使用多个成像元件的图像传感器，例如，互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)。

信号处理电路包括例如自动增益控制(AGC)电路或模数转换器(ADC)，并将成像元件产生的模拟信号转换成数字信号(图像数据)。此外，信号处理电路执行例如与RAW显影相关的各种处理。此外，信号处理电路可以执行各种信号处理，例如，白平衡校正处理、色调校正处理、伽马校正处理、YCbCr转换处理和边缘强调处理。

此外，信号处理电路可以执行与图像中区域的设置相关的处理，并将区域指定信息传送到IC芯片104。此外，信号处理电路可以向IC芯片104传送各种类型的数据，例如，曝光信息和增益信息。

指示由图像传感器装置102生成的图像的信号传送到IC芯片104。注意，例如，在要从图像传感器装置102传送到IC芯片104的指示图像的信号是模拟信号的情况下，IC芯片104通过使用其中设置的ADC将模拟信号转换成数字信号，并处理通过转换获得的图像数据。在下文中，将描述图像数据从图像传感器装置102传送到IC芯片104的情况，作为示例。

IC芯片104是集成电路(IC)，其具有与根据形成为芯片形状的第一发送方案发送数据的功能相关的电路，处理从图像传感器装置102传送的图像数据，并发送对应于生成的图像的数据。对应于图像的数据是从图像传感器装置102传送的图像数据(即，指示整个图像的数据)或者区域信息和区域数据。注意，与根据第一发送方案发送数据的功能相关的电路不限于以一个IC芯片的形式实现，并且可以由多个IC芯片形成。

IC芯片104包括例如图像处理电路106、LINK控制电路108、ECC生成电路110、PH生成电路112、EBD缓冲器114、图像数据缓冲器116、合成电路118和发送电路120。

图像处理电路106是具有执行与根据实施方式的发送方法相关的处理的功能的电路。在执行与根据该实施方式的发送方法相关的处理的情况下，图像处理电路106为图像中的每一行设置区域信息，并且使得LINK控制电路108、ECC生成电路110、PH生成电路112、EBD缓冲器114、图像数据缓冲器116、合成电路118和发送电路120根据第一发送方案发送对应于该区域所设置的区域信息和区域数据。此外，图像处理电路106还可以使得针对每一行发送从图像传感器装置102传送的图像数据(即，指示整个图像的数据)。

作为图像处理电路106，例示了处理器，例如，MPU。

将针对功能块单独描述图像处理电路106具有的功能。如图10所示，图像处理电路106例如具有区域切割单元122、图像处理控制单元124和编码单元126。

区域切割单元122在执行与图像中区域的设置相关的处理时起作用，并且设置由从图像传感器装置102传送的图像数据指示的图像中的区域(ROI)。例如，区域切割单元122根据设置的操作模式执行与图像中区域的设置相关的处理。例如，在操作模式是发送区域数据的操作模式的情况下，区域切割单元122执行与图像中的区域设置相关的处理。另外，在操作模式是发送指示整个图像的数据的操作模式的情况下，区域切割单元122不执行与图像中的区域的设置相关的处理。

区域切割单元122例如通过对图像执行任意对象检测处理来检测对象，并且为每个检测到的对象设置包括检测到的对象的区域。此外，区域切割单元122可以设置通过在任意操作装置等上执行的操作指定的区域。作为由区域切割单元122设置的区域，可以包括如图5中的区域1所示的矩形区域以及除了图像中设置的矩形形状之外的具有任意形状的区域，例如，图5中的区域2、区域3和区域4。

例如，在已经设置了区域的情况下，区域切割单元122将指示设置的区域的区域指定信息传送给图像处理控制单元124。此外，在没有设置区域的情况下，区域切割单元122不向图像处理控制单元124传送区域指定信息。

另外，区域切割单元122将已经从图像传感器装置102传送的图像数据传送到编码单元126。

图像处理控制单元124在执行与根据实施方式的发送方法相关的处理时起作用，为图像中的每一行设置区域信息，并且将设置的区域信息传送给编码单元126和PH生成电路112。

例如，图像处理控制单元124基于从区域切割单元122获取的区域指定信息和从外部装置获取的区域指定信息(未示出)来指明图像中每行中包括的区域。然后，图像处理控制单元124基于指明的区域设置每行的区域信息。此时，如上作为异常处理所述，图像处理控制单元124可以不在区域信息中设置没有从紧接之前发送的行中的区域信息中包括的信息改变的信息。

另外，在尚未获取区域指定信息的情况下，图像处理控制单元124不设置区域信息。

注意，图像处理控制单元124执行的处理不限于上述示例。

例如，图像处理控制单元124可以生成例如帧信息，并将生成的帧信息传送给LINK控制电路108。作为帧信息，例示了应用于每个帧的VC号。此外，帧信息可以包括指示数据类型的数据，例如，YUV数据、RGB数据或RAW数据。

此外，图像处理控制单元124可以执行设置额外信息的处理，并将设置的额外信息传送到EBD缓冲器114。

作为设置额外信息的处理，例示了生成额外信息的处理。作为生成额外信息的处理，例示了生成指示区域的数据量的信息的处理、生成指示区域的大小的信息的处理以及生成指示区域的优先级的信息的处理中的一个或两个或更多个。

注意，设置额外信息的处理不限于生成额外信息的处理。例如，图像处理控制单元124可以将从图像传感器装置102获取的信息(例如，曝光信息和增益信息)设置为额外信息。此外，图像处理控制单元124可以将与区域相关的各种数据项设置为额外信息，例如，指示物理区域长度的数据、指示输出区域长度的数据、指示图像格式的数据以及指示总数据量的数据。作为物理区域长度，例示了图像传感器装置102的像素数。作为输出区域长度，例示了从图像传感器装置102输出的图像的像素数(图像上的长度)。

编码单元126以预定方案对从图像传感器装置102传送的图像数据进行编码，例如，与联合图像专家组(JPEG)兼容的方案。

在尚未从图像处理控制单元124获取区域信息的情况下，编码单元126将编码图像数据传送到图像数据缓冲器116。在下文中，在某些情况下，编码图像数据(即，表示整个编码图像的数据)将称为“普通数据”。

另外，在从图像处理控制单元124获取区域信息的情况下，编码单元126将获取的对应于该区域的区域信息和编码区域数据传送到图像数据缓冲器116。

图像处理电路106通过具有区域切割单元122、图像处理控制单元124和编码单元126来执行与根据实施方式的发送方法相关的处理。注意，通过为了方便而划分图像处理电路106的功能获得图10所示的图像处理电路106的功能块，图像处理电路106的功能划分不限于图10所示的示例。

例如，LINK控制电路108将每行的帧信息传送给ECC生成电路110、PH生成电路112和合成电路118。

ECC生成电路110为每行设置纠错码。ECC生成电路110基于该行的数据在帧信息(例如，VC号、数据类型等)中生成一行的纠错码。例如，ECC生成电路110将生成的纠错码传送给PH生成电路112和合成电路118。此外，ECC生成电路110可以结合PH生成电路112生成纠错码。

PH生成电路112通过使用帧信息为每行生成分组报头。

PH生成电路112可以基于从图像处理电路106(图10的示例中的图像处理控制单元124)传送的区域信息来生成分组报头。具体地，如上所述，基于区域信息，PH生成电路112在分组报头中设置“指示包括在区域信息中的信息是否已经从包括在紧接之前发送的分组中的区域信息改变的数据”(变化信息)。

EBD缓冲器114是临时保存从图像处理电路106(图10的示例中的图像处理控制单元124)传送的额外信息的缓冲器。EBD缓冲器114以预定定时将额外信息作为“嵌入数据”输出到合成电路118。注意，从EBD缓冲器114输出的“嵌入数据”可以经由图像数据缓冲器116传送到合成电路118，这将在后面描述。

图像数据缓冲器116是临时保存从图像处理电路106(图10中的示例中的编码单元126)传送的数据(普通数据或区域信息和区域数据)的缓冲器。图像数据缓冲器116以预定定时为每行向合成电路118输出保持的数据。

例如，合成电路118基于分别从ECC生成电路110、PH生成电路112、EBD缓冲器114和图像数据缓冲器116获取的数据生成要传送的分组。

发送电路120针对每行经由数据总线B1发送从合成电路118传送的分组(信号传送路径的示例；这同样适用于以下描述)。例如，如图4所示，发送电路120通过高速差分信号发送分组。

例如，在设置了图5所示的区域1、区域2、区域3和区域4的情况下，如图9所示，发送电路120针对每行在长分组中发送对应于该区域的设置的区域信息和区域数据。

此外，在没有设置区域的情况下，即，在从图像数据缓冲器116输出普通数据的情况下，发送电路120针对每一行发送长分组，其中，在长分组中，对应于每一行的数据存储在有效载荷中。注意，即使在这种情况下，发送电路120也可以发送额外信息，作为“嵌入数据”。

例如，对应于第一发送方案的图像传感器100具有图10所示的硬件配置。注意，不用说，对应于第一发送方案的图像传感器100的硬件配置不限于图10所示的示例。

(1-3-2)与第一发送方案兼容的处理器200(接收装置)的配置

图11是示出与根据实施方式的发送方法相关的第一发送方案兼容的处理器200的配置的示例的功能框图。例如，处理器200具有报头分离单元202、报头解释单元204、有效载荷分离单元206、图像处理单元208和发送单元210。

报头分离单元202从接收的数据中分离对应于报头部分的报头数据和对应于有效载荷部分的有效载荷数据。例如，报头分离单元202根据由标准等预先定义的规则从接收的数据中分离报头数据。此外，例如，报头分离单元202可以根据由标准等预先定义的规则从接收的数据中分离有效载荷数据，或者可以基于报头解释单元204执行的处理结果从接收数据中分离有效载荷数据。

报头解释单元204解释由报头数据指示的内容。

在一个示例中，例如，在报头数据指示“0x38”的情况下，报头解释单元204解释包括在区域信息中的信息已经从包括在紧接之前发送的分组中的区域信息改变。另外，在这种情况下，报头解释单元204可以解释区域信息包括在有效载荷数据中。

在另一示例中，例如，在报头数据指示“0x39”的情况下，报头解释单元204解释包括在区域信息中的信息没有从包括在紧接之前发送的分组中的区域信息改变。另外，在这种情况下，报头解释单元204可以解释区域信息不包括在有效载荷数据中。

注意，由报头解释单元204执行的处理的示例不限于上述示例。例如，报头解释单元204可以指明有效载荷数据的位置，并将指明的位置传送给报头分离单元202。此外，报头解释单元204还可以解释有效载荷数据是否是“嵌入数据”。

有效载荷分离单元206基于报头解释单元204执行的解释结果从有效载荷数据中分离额外信息、区域信息和图像数据(普通数据或区域数据；这同样适用于下面对图11的描述)。

例如，在报头解释单元204确定有效载荷数据是“嵌入数据”的情况下，有效载荷分离单元206将有效载荷数据视为额外信息。

另外，在报头解释单元204没有解释有效载荷数据是“嵌入数据”的情况下，有效载荷分离单元206从有效载荷数据中分离区域信息和图像数据。如上参考图6、8和9所述，例如，区域信息和区域数据存储在有效载荷中，而区域信息存储在有效载荷的头部。另外，在从图像传感器100发送普通数据的情况下，区域信息不存储在有效载荷中。因此，有效载荷分离单元206可以通过处理有效载荷从头部分离区域信息和图像数据。

图像处理单元208基于从有效载荷分离单元206传送的额外信息、区域信息和图像数据来处理每行的图像数据，并且获得指示对应于该区域的图像的数据或者指示整个图像的数据。

图像处理单元208例如可以基于从有效载荷分离单元206传送的信息来确定经由数据总线B1获取的数据是否是指示对应于区域的图像的数据或者指示整个图像的数据，并且根据确定的结果以处理模式执行处理。

例如，在当第一次执行针对某一帧的图像的处理时(即，当执行对应于第一行的处理时)传送区域信息的情况下，图像处理单元208确定经由数据总线B1获取的数据是指示对应于该区域的图像的数据。然后，图像处理单元208前进到处理区域数据的处理模式，并基于每行的区域信息和区域数据获得指示对应于该区域的图像的数据。

例如，在第一次执行针对某一帧的图像的处理时没有传送区域信息的情况下，图像处理单元208确定经由数据总线B1获取的数据是指示整个图像的数据。然后，图像处理单元208前进到普通处理模式(处理普通数据的处理模式)，并基于每行的普通数据获得指示整个图像的数据。

注意，确定经由数据总线B1获取的数据的方法不限于上述示例。例如，在与区域相关的信息(例如，指示区域的数据量的信息、指示区域的大小的信息和指示区域的优先级的信息中的一个或两个或更多个)的情况下，图像处理单元208可以确定经由数据总线B1获取的数据是指示对应于区域的图像的数据。

例如，图像处理单元208具有解码单元212和图像生成单元214。

解码单元212例如通过对应于图像传感器100执行的编码的预定方案来解码图像数据。此时，解码单元212可以基于额外信息来改变处理的内容。

图像生成单元214基于区域信息，从解码单元212解码的每行的图像数据中生成指示对应于区域的图像的数据或者指示整个图像的数据。

例如，在当第一次执行针对某一帧的图像的处理时传送区域信息的情况下，图像生成单元214确定从解码单元212传送的图像数据是区域数据。然后，在确定图像数据是区域数据的情况下，图像生成单元214基于区域信息将每行的区域数据划分为每个区域的数据。在此处，图像生成单元214用于处理的区域信息可以包括对应于作为处理目标的行的区域信息和对应于已经执行了处理的行的区域信息。

在此处，由于区域信息基本上包括指示行的位置的信息、该行中包括的区域的标识信息、指示该行中包括的区域的列的位置的信息、以及指示该行中包括的区域的大小的信息，所以图像生成单元214可以唯一地指明每行中包括的区域数据。因此，图像生成单元214可以为每个区域生成指示对应于在某一帧的图像中设置的区域的图像的数据。

此外，在第一次执行针对某一帧的图像的处理时没有传送区域信息的情况下，图像生成单元214确定传送的图像数据是普通数据。在图像数据被确定为普通数据的情况下，图像生成单元214根据从解码单元212传送的每行的图像数据生成指示整个图像的数据。

图像处理单元208例如通过设置有解码单元212和图像生成单元214来获得指示对应于该区域的图像的数据或者指示整个图像的数据。

注意，图像处理单元208执行的处理不限于上述示例。例如，如上所述，图像处理单元208可以执行各种处理，例如，与控制在记录介质(例如，存储器300)中记录图像数据相关的处理、与控制在显示装置400的显示屏上显示图像相关的处理、以及与设置图像中的区域相关的处理。

发送单元210经由控制总线B2、各种信号线等向外部装置发送各种数据(例如，图像数据、控制信息等)。作为发送单元210，例示了在处理器200中设置并遵循预定标准的通信装置，例如，内部集成电路(I2C)或改进的内部集成电路(I3C)。

例如，由发送单元210执行的通信由图像处理单元208控制。通过图像处理单元208使发送单元210发送各种数据(例如，图像数据、控制信息等)，来实现图像数据在记录介质(例如，存储器300)中的记录、图像在显示装置400的显示屏上的显示、以及指示图像传感器100的设置区域的区域指定信息的发送。

例如，处理器200可以基于从通过设置有报头分离单元202、报头解释单元204、有效载荷分离单元206、图像处理单元208和发送单元210的图像传感器100接收的数据，来获得指示对应于该区域的图像的数据或指示整个图像的数据。注意，通过为了方面而划分处理器200具有的功能来获得图11所示的处理器200的功能块，并且如何划分处理器200的功能不限于图11所示的示例。此外，在不提供向外部装置发送各种数据的功能的情况下，处理器200可以没有发送单元210。

(2)第二发送方案

(2-1)与第二发送方案相关的处理

图像传感器100将区域数据存储在第一分组的有效载荷中，并将包括在区域信息中的每条信息存储在不同于第一分组的第二分组中。然后，图像传感器100使得针对每行发送第一分组和第二分组。

MIPI的长分组被例示为与第二发送方案相关的第一分组，而MIPI的短分组被例示为与第二发送方案相关的第二分组。注意，根据实施方式的第一分组和第二分组的示例不限于上述示例。根据实施方式的第一分组和第二分组的其他示例将被描述为第三发送方案，这将在后面描述。将在下面描述的第二发送方案中例示第一分组是MIPI的长分组而第二分组是MIPI的短分组的情况。

图12是示出根据与根据实施方式的发送方法相关的第二发送方案发送的数据的示例的说明图。图12示出了“通过图2所示的MIPI的短分组为每行发送包括在对应于图5所示的区域1、区域2、区域3和区域4的区域信息中的每条信息的示例”。另外，图12示出了“对应于图5中示出的区域1、区域2、区域3和区域4中的每一个的区域数据存储在图3中示出的MIPI长分组的有效载荷中并且针对每行发送的示例”。

图12中示出的“Y”示出了存储指示行位置的信息的短分组。图12中示出的“I1”、“I2”、“I3”和“I4”示出了短分组，其中，分别存储了对应于图5中示出的区域1、区域2、区域3和区域4的区域的标识信息。

图12中示出的“X1”、“X2”、“X3”和“X4”示出了短分组，其中，分别存储了指示对应于图5中示出的区域1、区域2、区域3和区域4的区域的大小的信息。图12中示出的“L1”、“L2”、“L3”和“L4”表示短分组，其中，存储了指示分别对应于图5中示出的区域1、区域2、区域3和区域4的区域的大小的信息。

在如图6所示使用上述(1)中描述的第一发送方案的情况下，区域信息和区域数据存储在一个分组的有效载荷中，例如，MIPI的长分组，并且针对每一行进行发送。

同时，在使用如图12所示的第二发送方案的情况下，区域信息和区域数据分别存储在不同的分组中，并且针对每一行进行发送。

此外，即使在使用如图12所示的第二发送方案的情况下，与使用第一发送方案的情况类似，也可以发送“嵌入数据”。即，图像传感器100可以发送指示区域的数据量的信息、指示区域的大小的信息和指示区域的优先级的信息中的一个或两个或更多个(额外信息的示例)，作为图12所示的“嵌入数据”。

(2-2)第二发送方案的特征和优点

例如，与根据实施方式的发送方法相关的第二发送方案具有下面描述的特征。注意，不用说，与根据实施方式的发送方法相关的第二发送方案具有的特征不限于下面描述的示例。

-额外信息由EBD发送，对应于设置区域的区域信息由短分组发送。

-仅发送与包含在区域信息中的信息中的变化点相对应的信息。

-可以寻址(address)任意形状的任何区域。

此外，例如，在第二发送方案中，由短分组发送的区域信息具有下面描述的特征。注意，不用说，与第二发送方案相关的区域信息具有的特征不限于下面描述的示例。

-在一行中存在多个相同区域的情况下，通过发送与当前区域的数量相对应的相同区域的标识信息来传送一行中存在的多个相同区域的信息。

-指示行位置的信息(Y)。

-递增初始值0(零)。

-当发送不遵循预定顺序时发送(例如，执行稀疏)。

-该区域的标识信息(I)。

-当区域增大或减小时发送。

-在区域的列的位置和ROI长度改变的情况下发送。

-指示区域的列位置的信息(X)。

-初始值0(零)。

-发生某种变化时发送。

-作为一个集合与区域的标识信息一起发送。

-指示区域大小的信息(L)。

-对于首先发送的行，务必进行设置。

-发生某种变化时发送。

-作为一个集合与区域的标识信息一起发送。

-在一行中只有一个区域的情况下可以省略，即使已经进行了某种变化(因为长分组的有效载荷长度变得与ROI长度相同)。

此外，例如，第二发送方案具有下面描述的优点。

-可以对区域信息进行纠错。

-与已经定义的CSI-2标准有向后兼容性。

-可以传送任意形状的任何区域(ROI)。

(2-3)与第二发送方案相关的配置示例

接下来，将描述与前述第二发送方案兼容的图像传感器100的配置的示例和与第二发送方案兼容的处理器200的配置的示例(与从图像传感器100发送的数据的处理相关的配置的示例)。

(2-3-1)与第二发送方案兼容的图像传感器100(发送装置)的配置

图13是示出与根据实施方式的发送方法相关的第二发送方案兼容的图像传感器100的配置的示例的硬件框图。例如，图像传感器100包括图像传感器装置102和IC芯片150。类似于图10中所示的图像传感器100，

图13中所示的图像传感器100使用从通信系统1000中包括的内部电源(未示出)提供的电力等来运行。

图13所示的图像传感器装置102具有与图10所示的图像传感器装置102类似的功能和配置。

通过将IC形成为芯片形状而获得IC芯片150，在该IC上集成有与根据第二发送方案发送数据的功能相关的电路，处理从图像传感器装置102传送的图像数据，并发送对应于生成的图像的数据。注意，与根据第二发送方案发送数据的功能相关的电路不限于以一个IC芯片的形式实现，并且可以由多个IC芯片形成。

例如，IC芯片150包括图像处理电路152、LINK控制电路108、ECC生成电路110、PH生成电路154、EBD缓冲器114、图像数据缓冲器116、合成电路156和发送电路120。

图13所示的LINK控制电路108、ECC生成电路110、EBD缓冲器114、图像数据缓冲器116和发送电路120分别具有与图10所示的LINK控制电路108、ECC生成电路110、EBD缓冲器114、图像数据缓冲器116和发送电路120类似的功能和配置。

图像处理电路152是具有执行与根据实施方式的发送方法相关的处理的功能的电路。在执行与根据该实施方式的发送方法相关的处理的情况下，图像处理电路152为图像中的每一行设置区域信息，并且使得LINK控制电路108、ECC生成电路110、PH生成电路154、EBD缓冲器114、图像数据缓冲器116、合成电路156和发送电路120根据第二发送方案发送对应于每行的区域的设置的区域信息和区域数据。此外，图像处理电路152还可以促使针对每一行发送从图像传感器装置102传送的图像数据(即，指示整个图像的数据)。

作为图像处理电路152，例示了处理器，例如，MPU。

图像处理电路152具有的功能将划分成功能块并且将描述。如图13所示，图像处理电路152例如具有区域切割单元122、图像处理控制单元124和编码单元158。

图13所示的区域切割单元122和图像处理控制单元124的功能类似于图10所示的区域切割单元122和图像处理控制单元124的功能。

编码单元158通过与图10所示的编码单元126类似的预定方案对从图像传感器装置102传送的图像数据进行编码。

在没有从图像处理控制单元124获取区域信息的情况下，编码单元158将编码图像数据传送到图像数据缓冲器116，类似于图10所示的编码单元126。

此外，在从图像处理控制单元124获取区域信息的情况下，编码单元158基于获取的区域信息指明区域，并将对应于指明区域的编码区域数据传送到图像数据缓冲器116。

图像处理电路152通过设置有区域切割单元122、图像处理控制单元124和编码单元158来执行与根据实施方式的发送方法相关的处理。注意，为了方便通过划分图像处理电路152而具有的功能获得图13所示的图像处理电路152的功能块，并且如何划分图像处理电路152的功能不限于图13所示的示例。

基于从图像处理电路152(图13中的示例中的图像处理控制单元124)传送的区域信息，PH生成电路154生成存储了区域信息中包括的每条信息的短分组。

此外，类似于图10所示的PH生成电路112，PH生成电路154通过使用帧信息为每行生成长分组的分组报头。

合成电路156基于从ECC生成电路110、PH生成电路154、EBD缓冲器114和图像数据缓冲器116中的每一个获取的数据，生成“存储区域信息的短分组”和“图像数据(普通数据或区域数据)或每行存储在有效载荷中的长分组”，作为要传送的分组。

发送电路120经由数据总线B1为每行发送从合成电路156传送的分组。

例如，在已经设置了图5所示的区域1、区域2、区域3和区域4的情况下，发送电路120将包括在区域信息中的每条信息存储在短分组中，将区域数据存储在长分组的有效载荷中，并且如图12所示，使得针对每行发送信息和数据。

此外，在没有设置区域的情况下，即，在从图像数据缓冲器116输出普通数据的情况下，类似于图10所示的发送电路120，针对每行，发送电路120发送其中对应于每行的数据存储在有效载荷中的长分组。注意，类似于图10所示的发送电路120，发送电路120可以发送额外信息，作为“嵌入数据”。

例如，与第二发送方案兼容的图像传感器100具有图13所示的硬件配置。注意，不用说，与第二发送方案兼容的图像传感器100的硬件配置不限于图13所示的示例。

(2-3-2)与第二发送方案兼容的处理器200(接收装置)的配置

图14是示出与根据实施方式的发送方法相关的第二发送方案兼容的处理器200的配置的示例的功能框图。例如，处理器200具有分组分离单元250、短分组解释单元252、长分组解释单元254、报头解释单元256、有效载荷解释单元258、图像处理单元208和发送单元210。

分组分离单元250从接收的数据中分离短分组和长分组。分组分离单元250例如通过检测短分组的划分来分离短分组和长分组。

短分组解释单元252从分组分离单元250传送的短分组中提取包括在区域信息中的各种信息，并将区域信息传送到图像处理单元208。

类似于图11所示的报头分离单元202，长分组解释单元254从分组分离单元250传送的长分组中分离对应于报头部分的报头数据和对应于有效载荷部分的有效载荷数据。

报头解释单元256解释由报头数据指示的内容。例如，报头解释单元256解释有效载荷数据是否是“嵌入数据”。另外，报头解释单元256可以指明有效载荷数据的位置，并将指明的位置传送给长分组解释单元254。

有效载荷解释单元258基于报头解释单元256执行的解释结果从有效载荷数据中提取额外信息或图像数据(普通数据或区域数据；这同样适用于下面对图14的描述)。

例如，在报头解释单元256解释有效载荷数据是“嵌入数据”的情况下，有效载荷解释单元258将有效载荷数据视为额外信息。

另外，在报头解释单元256没有将有效载荷数据解释为“嵌入数据”的情况下，有效载荷解释单元258将有效载荷数据视为图像数据。

类似于图11所示的图像处理单元208，图14所示的图像处理单元208基于额外信息、区域信息和图像数据来处理每行的图像数据，并且获得指示对应于该区域的图像的数据或者指示整个图像的数据。

此外，类似于图11中所示的图像处理单元208，图14中所示的图像处理单元208可以执行各种处理，例如，与控制在记录介质(例如，存储器300)中记录图像数据相关的处理、与控制在显示装置400的显示屏上显示图像相关的处理以及与图像中区域的设置相关的处理。

类似于图11所示的发送单元210，图14所示的发送单元210经由控制总线B2或各种信号线将各种类型的数据(例如，图像数据、控制信息等)发送到外部装置。

处理器200可以通过设置有分组分离单元250、短分组解释单元252、长分组解释单元254、报头解释单元256、有效载荷解释单元258、图像处理单元208和发送单元210，基于从图像传感器100接收的数据，获得指示对应于该区域的图像的数据或者指示整个图像的数据。注意，为了方便通过划分处理器200具有的功能获得图14所示的处理器200的功能块，并且如何划分处理器200的功能不限于图14所示的示例。此外，在不提供向外部装置发送各种数据的功能的情况下，处理器200可以没有发送单元210，类似于图11所示的处理器200。

(3)第三发送方案

(3-1)与第三发送方案相关的处理

图像传感器100将区域数据存储在第一分组的有效载荷中，并将包括在区域信息中的信息存储在与第一分组不同的第二分组中，类似于上述(2)中描述的第二发送方案。然后，图像传感器100使得针对每行发送第一分组和第二分组。

MIPI的长分组被例示为与第三发送方案相关的第一分组，并且分组报头被例示为与第三发送方案相关的第二分组。即，例如，在第二发送方案中，通过MIPI的短分组发送区域信息，而在第三发送方案中，通过分组报头发送区域信息。

在此处，短分组和分组报头具有如图2和图3所示的类似结构。因此，类似于使用上述(2)中描述的第二发送方案的图像传感器100，使用第三发送方案的图像传感器100可以发送每行的区域信息和区域数据。

注意，与第三发送方案相关的第二分组不限于具有类似于图3所示的分组报头的结构的分组报头。例如，与第三发送方案相关的第二分组可以是分组报头(例如，通过将“数据字段”从2字节扩展到3字节或更多而获得的分组报头)，其具有图2所示的“数据字段”已经扩展的结构。在与第三发送方案相关的第二分组是具有上述扩展结构的分组报头的情况下，包括在区域信息中的信息可以存储在一个第二分组中。

另外，存储包括在区域信息中的信息的区域可以是第三发送方案中的第一分组的一部分。即，可以将上述第一分组和上述第二分组视为第三发送方案中的一个分组。

(3-2)第三种发送方案的特征和优点

与根据实施方式的发送方法相关的第三发送方案具有与上述(2)中描述的第二发送方案相似的特征。

此外，例如，第三发送方案具有下面描述的优点。

-发送效率高。

-可以对区域信息进行纠错。

-可以传送任意形状的任何区域(ROI)。

(3-3)与第三发送方案相关的配置示例

与第三发送方案兼容的图像传感器100采用与图像传感器100的配置(包括修改示例)相似的配置，该图像传感器与例如图13所示的上述(2)中描述的第二发送方案兼容。此外，与第三发送方案兼容的处理器200采用与处理器200的配置(包括修改示例)相似的配置，该处理器200与例如图14所示的上述(2)中描述的第二发送方案兼容。

<4>通过所使用的根据实施方式的发送方法实现的优点的示例

下面描述的优点通过所使用的根据实施方式的发送方法来实现。注意，不用说，通过所使用的根据实施方式的发送方法实现的优点不限于下面描述的示例。

-在传送图像中设置的区域(ROI)数据时，不需要为每个区域划分VC。

-在传送图像中设置的区域(ROI)数据时，可以共同发送包括在同一行中的各个区域的数据。

-可以仅发送与包括在区域信息中的信息中的变化点相对应的信息，并且可以进一步减少区域信息的数据量(即，可以传送最小区域信息)。

-可以处理任意形状的任何区域，例如，矩形、椭圆形和环形。

-即使在设置区域(例如，图5中的区域3和区域4)重叠的情况下，也可以传送区域的数据。

-在使用第一发送方案的情况下，由于区域信息存储在分组的有效载荷中并随后发送，所以LPS的时段不会由于区域信息的发送而增加。因此，在使用第一发送方案的情况下，区域信息影响传送效率的可能性很低。

(根据实施方式的程序)

通过由计算机中的处理器等执行使计算机用作根据实施方式的发送装置的程序(例如，使计算机执行与根据实施方式的发送方法相关的处理的程序)，可以发送在图像中设置的具有任意形状的任何区域的数据。

此外，可以通过使计算机用作由计算机中的处理器等执行的根据实施方式的发送装置的程序，来实现通过所使用的根据实施方式的前述发送方法实现的效果。

本领域技术人员应该理解，在所附权利要求或其等同物的范围内，可以根据设计要求和其他因素进行各种修改、组合、子组合和变更。

尽管以上描述已经示出了提供使计算机用作根据实施方式的发送装置的程序(计算机程序)，但是该实施方式还可以提供记录介质，其中一起存储有前述程序。

前述配置是实施方式的示例，并且前述配置当然属于本公开的技术范围。

此外，本说明书中描述的效果仅仅是说明性的或示例性的效果，而不是限制性的。即，通过或代替上述效果，根据本公开的技术可以实现本领域技术人员从本说明书的描述中清楚的其他效果。

另外，本技术也可以如下配置。

(1)一种发送装置，包括：

图像处理电路，其为图像中的每一行设置与图像中设置的区域相对应的区域信息，并且使得针对每一行发送与区域相对应的设置的区域信息和区域数据，

其中，区域信息包括指示行的位置的信息和指示行中包括的区域的列的位置的信息。

(2)根据(1)所述的发送装置，其中，区域信息还包括行中包括的区域的标识信息和指示行中包括的区域的大小的信息。

(3)根据(1)或(2)所述的发送装置，其中，图像处理单元在区域信息中为每个区域共同设置包括在区域信息中的信息。

(4)根据(3)所述的发送装置，其中，在一行中存在多个相同区域的情况下，图像处理单元设置区域信息，使得区域信息的条数与存在的相同区域的数量相同。

(5)根据(1)至(4)中任一项所述的发送装置，其中，图像处理单元不在区域信息中设置不从包括在紧接之前要发送的行中的区域信息中的信息改变的信息。

(6)根据(5)所述的发送装置，

其中，当在区域信息中设置指示区域的列的位置的信息时，图像处理单元在区域信息中设置区域的标识信息，并且

当在区域信息中设置指示区域大小的信息时，图像处理单元在区域信息中设置区域的标识信息。

(7)根据(5)或(6)所述的发送装置，

其中，图像处理单元使得根据预定顺序发送每行的区域信息和区域数据，并且

在使得发送其区域信息和区域数据的行是根据预定顺序的行的情况下，指示行的位置的信息不设置在区域信息中。

(8)根据(1)至(7)中任一项所述的发送装置，其中，图像处理单元使得在分组的有效载荷中存储和发送区域信息和区域数据。

(9)根据(8)所述的发送装置，其中，区域信息存储在有效载荷的头部。

(10)根据(8)或(9)所述的发送装置，其中，图像处理单元还使得针对每一行发送变化信息，变化信息指示包括在区域信息中的信息是否已经从包括在紧接之前发送的分组中的区域信息改变。

(11)根据(10)所述的发送装置，其中，在包括在区域信息中的信息没有从包括在紧接之前发送的分组中的区域信息改变的情况下，图像处理单元不促使发送区域信息。

(12)根据(8)至(11)中任一项所述的发送装置，其中，图像处理单元还促使发送指示区域中的数据量的信息、指示区域的大小的信息和指示区域的优先级的信息中的一个或两个或更多个。

(13)根据(8)至(12)中任一项所述的发送装置，其中，分组是MIPI的长分组。

(14)根据(1)至(7)中任一项所述的发送装置，

其中，图像处理单元将区域数据存储在第一分组的有效载荷中，

图像处理单元将包括在区域信息中的每条信息存储在不同于第一分组的第二分组中，并且

所述图像处理单元促使针对每行发送第一分组和第二分组。

(15)根据(13)所述的发送装置，

其中，所述第一分组是MIPI的长分组，并且

所述第二分组是MIPI的短分组。

附图标记列表

100图像传感器

102图像传感器装置

104、150IC芯片

106、152图像处理电路

108LINK控制电路

110ECC生成电路

112、154PH生成电路

114EBD缓冲器

116图像数据缓冲器

118、156合成电路

120发送电路

122区域切割单元

124图像处理控制单元

126、158编码单元

200处理器

202报头分离单元

204报头解释单元

206有效载荷分离单元

208图像处理单元

210发送单元

212解码单元

214图像生成单元

250分组分离单元

252短分组解释单元

254长分组解释单元

256报头解释单元

258有效载荷解释单元

300存储器

400显示装置

1000通信系统

B1数据总线

B2控制总线。

Claims (20)

1.一种发送装置，包括：

图像处理电路，具有感兴趣区域(ROI)模式和非感兴趣区域(ROI)模式，在所述ROI模式中，所述图像处理电路被配置为

发送图像的第一数据帧，所述第一数据帧包括嵌入数据、所述图像的第一多条图像线中的每条图像线的感兴趣区域(ROI)信息、以及所述图像的第二多条图像线中的每条图像线的感兴趣区域(ROI)数据，所述第二多条图像线包括所述第一多条图像线，并且

在所述非ROI模式中，所述图像处理电路被配置为

发送所述图像的第二数据帧，所述第二数据帧包括所述图像的第三多条图像线中的每条图像线的所有有效载荷数据，所述第三多条图像线包括所述第二多条图像线，并且所述第二数据帧不包括所述ROI信息和所述ROI数据。

2.根据权利要求1所述的发送装置，其中，在所述ROI模式中，所述图像处理电路还被配置为

确定所述第一多条图像线中的每条图像线的所述ROI信息是否能够嵌入到所述嵌入数据中，

响应于确定所述ROI信息能够嵌入到所述嵌入数据中，将所述第一多条图像线中的每条图像线的所述ROI信息插入到所述嵌入数据中，并且

响应于将所述ROI信息插入到所述嵌入数据中，发送所述图像的第三数据帧而不是所述第一数据帧，所述第三数据帧包括所述嵌入数据和所述第二多条图像线中的每条图像线的ROI数据。

3.根据权利要求1所述的发送装置，其中，在所述ROI模式中，所述图像处理电路还被配置为

接收所述图像中一个或多个感兴趣区域(ROI)的位置信息，并且

基于所述位置信息确定所述第二多条图像线。

4.根据权利要求3所述的发送装置，其中，在所述ROI模式中，所述图像处理电路还被配置为

基于所述位置信息确定所述图像中的一个或多个所述感兴趣区域(ROI)的一个或多个变化点，并且

基于所述一个或多个变化点确定所述第一多条图像线。

5.根据权利要求4所述的发送装置，其中，所述第一多条图像线中的每条图像线的ROI信息还包括指示所述一个或多个变化点的变化信息。

6.根据权利要求1所述的发送装置，其中，所述第一多条图像线中的每条图像线的ROI信息是指示每条图像线的位置和包括在每条图像线中的一个或多个感兴趣区域(ROI)的列的位置的信息。

7.根据权利要求6所述的发送装置，其中，所述ROI信息还包括包含在每条图像线中的一个或多个感兴趣区域(ROI)的标识信息以及指示包含在每条图像线中的一个或多个感兴趣区域(ROI)的大小的信息。

8.根据权利要求6所述的发送装置，其中，包括在每条图像线中的所述一个或多个感兴趣区域(ROI)是n，n是大于零的正整数，所述图像处理电路还被配置为在所述ROI信息中包括多条区域信息，所述区域信息的条数等于n。

9.根据权利要求1所述的发送装置，其中，根据预定顺序发送所述第二多条图像线，并且其中，所述第一多条图像线中的每条图像线的ROI信息不包括指示每条图像线的位置的信息。

10.根据权利要求1所述的发送装置，其中，所述第一数据帧包括多个分组，其中，在所述多个分组的第一部分的一个或多个有效载荷中发送所述嵌入数据，并且其中，在所述多个分组的第二部分的有效载荷中发送所述第一多条图像线中的每条图像线的ROI信息和ROI数据，所述多个分组的所述第二部分不包括所述多个分组的所述第一部分。

11.根据权利要求10所述的发送装置，其中，所述ROI信息存储在所述有效载荷的头部。

12.根据权利要求1所述的发送装置，其中，所述嵌入数据还包括以下各项中的至少一项：

指示所述图像中的一个或多个感兴趣区域(ROI)的数据量的信息，

指示所述图像中的一个或多个ROI的大小的信息，或

指示所述图像中的一个或多个ROI的优先级的信息。

13.根据权利要求1所述的发送装置，其中，所述嵌入数据还包括以下各项中的至少一项：

所述图像中的一个或多个感兴趣区域(ROI)的标识信息，

指示所述图像中的一个或多个ROI的左上方坐标的信息，

指示所述图像中的一个或多个ROI的高度的信息，

指示所述图像中的一个或多个ROI的宽度的信息，

指示模数转换器的分辨率的模数位，或

感测信息。

14.根据权利要求13所述的发送装置，其中，所述感测信息包括增益设置信息或曝光时间信息中的至少一者，并且其中，所述嵌入数据具有分配给所述感测信息的可变字节数。

15.一种接收装置，包括：

电子处理器，被配置为

接收图像的第一数据帧，

接收所述图像的第二数据帧，并且

基于所述第一数据帧或所述第二数据帧中的一者生成显示图像，

其中，所述第一数据帧包括嵌入数据、所述图像的第一多条图像线中的每条图像线的感兴趣区域(ROI)信息以及所述图像的第二多条图像线中的每条图像线的感兴趣区域(ROI)数据，所述第二多条图像线包括所述第一多条图像线，并且

其中，所述第二数据帧包括所述图像的第三多条图像线中的每条图像线的所有有效载荷数据，所述第二数据帧不包括所述ROI信息和所述ROI数据。

16.根据权利要求15所述的接收装置，其中，所述电子处理器还被配置为

接收所述图像的第三数据帧，并且

基于所述第三数据帧生成所述显示图像，所述第三数据帧包括所述嵌入数据和所述图像的第二多条图像线中的每条图像线的ROI数据，所述嵌入数据包括所述图像的所述第一多条图像线中的每条图像线的ROI信息。

17.一种系统，包括：

发送装置，包括

图像处理电路，具有感兴趣区域(ROI)模式和非感兴趣区域(ROI)模式，在所述ROI模式中，所述图像处理电路被配置为

发送图像的第一数据帧，所述第一数据帧包括嵌入数据、所述图像的第一多条图像线中的每条图像线的感兴趣区域(ROI)信息、以及所述图像的第二多条图像线中的每条图像线的感兴趣区域(ROI)数据，所述第二多条图像线包括所述第一多条图像线，并且

在所述非ROI模式中，所述图像处理电路被配置为

发送所述图像的第二数据帧，所述第二数据帧包括所述图像的第三多条图像线中的每条图像线的所有有效载荷数据，所述第三多条图像线包括所述第二多条图像线，并且所述第二数据帧不包括所述ROI信息和所述ROI数据；以及

电子处理器，被配置为

接收所述第一数据帧，

接收所述第二数据帧，并且

基于所述第一数据帧或所述第二数据帧中的一者生成显示图像。

18.根据权利要求17所述的系统，其中，在所述ROI模式中，所述图像处理电路还被配置为

确定所述第一多条图像线中的每条图像线的所述ROI信息是否能够嵌入到所述嵌入数据中，

响应于确定所述ROI信息能够嵌入到所述嵌入数据中，将所述第一多条图像线中的每条图像线的所述ROI信息插入到所述嵌入数据中，并且

响应于将所述ROI信息插入到所述嵌入数据中，发送所述图像的第三数据帧而不是所述第一数据帧，所述第三数据帧包括所述嵌入数据和所述第二多条图像线中的每条图像线的ROI数据，并且

其中，所述电子处理器还被配置为接收所述第三数据帧，并基于所述第三数据帧生成所述显示图像。

19.一种方法，包括：

利用图像处理电路接收模式选择输入，所述模式选择输入指示感兴趣区域(ROI)模式或非感兴趣区域(ROI)模式中的一者；

响应于指示所述ROI模式的所述模式选择输入，利用所述图像处理电路发送图像的第一数据帧，所述第一数据帧包括嵌入数据、所述图像的第一多条图像线中的每条图像线的感兴趣区域(ROI)信息以及所述图像的第二多条图像线中的每条图像线的感兴趣区域(ROI)数据，所述第二多条图像线包括所述第一多条图像线；并且

响应于指示所述非ROI模式的所述模式选择输入，利用所述图像处理电路发送所述图像的第二数据帧，所述第二数据帧包括所述图像的第三多条图像线中的每条图像线的所有有效载荷数据，所述第三多条图像线包括所述第二多条图像线，所述第二数据帧不包括所述ROI信息和所述ROI数据。

20.根据权利要求19所述的方法，还包括：

利用所述图像处理电路确定所述第一多条图像线中的每条图像线的所述ROI信息是否能够嵌入到所述嵌入数据中；

响应于确定所述ROI信息能够嵌入到所述嵌入数据中，利用所述图像处理电路将所述第一多条图像线中的每条图像线的ROI信息插入到所述嵌入数据中；并且

响应于指示所述ROI模式的所述模式选择输入并且响应于将所述ROI信息插入到所述嵌入数据中，利用所述图像处理电路发送所述图像的第三数据帧而不是所述第一数据帧，所述第三数据帧包括所述嵌入数据和所述第二多条图像线中的每条图像线的所述ROI数据。

Images