CN113170044A - 接收装置和发送装置 - Google Patents

接收装置和发送装置 Download PDF

Info

Publication number
CN113170044A
CN113170044A CN201980078838.3A CN201980078838A CN113170044A CN 113170044 A CN113170044 A CN 113170044A CN 201980078838 A CN201980078838 A CN 201980078838A CN 113170044 A CN113170044 A CN 113170044A
Authority
CN
China
Prior art keywords
image
data
information
region
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980078838.3A
Other languages
English (en)
Other versions
CN113170044B (zh
Inventor
长野宏介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN113170044A publication Critical patent/CN113170044A/zh
Application granted granted Critical
Publication of CN113170044B publication Critical patent/CN113170044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4204—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
    • G06F13/4221—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being an input/output bus, e.g. ISA bus, EISA bus, PCI bus, SCSI bus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0028—Serial attached SCSI [SAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供了一种接收装置，包括：信息处理单元，其至少在读取整个成像区域的第一模式下或者在仅读取成像区域中的部分区域的第二模式下生成图像，在以第二模式执行读取时，图像处理单元能够根据该区域改变读取速率。

Description

接收装置和发送装置
技术领域
本公开涉及接收装置和发送装置。
背景技术
利用图像传感器进行图像曝光的一种方法包括以获取具有适当亮度的图像的方式调整图像传感器的曝光时间。现有的用曝光时间补偿灵敏度不足的普通方法会导致运动模糊，该运动模糊对应于在拍摄运动对象的情况下曝光时间的长度。因此，已经提出了一些方法，通过这些方法，在从图像传感器获取图像信号时，尽可能缩短曝光时间，以最小化运动模糊的发生。这些方法包括使用至少两个彼此重叠的帧来进行运动补偿，以避免运动模糊，从而解决关于适当曝光的灵敏度不足或信噪比降低的问题。
近年来，越来越多的图像传感器被开发用于更高的分辨率。考虑到上面提出的技术，如果传输多个采集图像所需的时间超过硬件限制下的可传输时间，则高分辨率图像传感器需要内部缓冲存储器。对这种问题的解决方案已经提出了如下引用的PTL 1到PTL 4的技术。
[引用列表]
[专利文献]
[PTL 1]
日本特许公开号2008-160881
[PTL 2]
日本特许公开号Hei 11-331643
[PTL 3]
日本特许公开号2001-250119
[PTL 4]
日本特许公开号2002-230544
发明内容
[技术问题]
然而，在PTL 1中公开的技术受到在高动态范围中图像生成的限制。在PTL 2号到PTL 4号中公开的技术涉及从拍摄的图像中估计和去除运动模糊，需要复杂的算法和电路配置。
因此，本公开提出了能够同时抑制运动模糊的产生、饱和区域的产生和信噪比降低的产生的新型且改进的接收装置和发送装置。
[问题的解决方案]
根据本公开，提供了一种接收装置，包括：接收部分，被配置为至少在用于接收整个拍摄区域的图像数据的第一模式下或者在用于接收拍摄区域中的仅部分区域的图像数据的第二模式下接收图像数据；以及信息处理部分，被配置为基于接收部分接收的图像数据生成图像。在以所述第二模式接收图像数据时，信息处理部分接收添加了不同于所述第一模式的参数的图像数据。
此外，根据本公开，提供了一种发送装置，包括：图像处理部分，被配置为至少在用于读出整个拍摄区域的第一模式下或者在用于读出拍摄区域中的部分区域的第二模式下读出图像数据；以及发送部分，被配置为在传输图像数据之前将由图像处理部分读出的图像数据存储为符合预定格式的传输信号。图像处理部分改变以第二模式要读出图像的速率。
附图说明
图1是描述体现本公开的通信系统1000的配置示例的说明图。
图2是描述根据MIPI CSI-2标准的分组格式的说明图。
图3是描述根据MIPI CSI-2标准的另一种分组格式的说明图。
图4描述了根据MIPI CSI-2标准的与分组传输相关的信号波形示例的说明图。
图5是概述图像传感器100的操作的说明图。
图6是概述图像传感器100的操作的另一说明图。
图7是描述本实施例的图像传感器100的配置示例的硬件框图。
图8是描述由本实施例的图像传感器100传输的数据的具体示例的说明图。
图9是描述由本实施例的图像传感器100传输的数据的另一具体示例的说明图。
图10是描绘本实施例的处理器200的配置示例的视图。
图11是概述图像传感器100的操作的另一说明图。
图12是概述图像传感器100的操作的另一说明图。
图13是描述由本实施例的图像传感器100传输的数据的另一具体示例的说明图。
图14是概述图像传感器100的操作的另一说明图。
图15是概述图像传感器100的操作的另一说明图。
图16是概述图像传感器100的操作的另一说明图。
图17是概述图像传感器100的操作的另一说明图。
图18是描绘ROI区域的示例的说明图。
图19是描绘ROI区域的数据格式的示例的说明图。
图20是描述用于通过本实施例的通信系统传输图像数据的分组的结构示例的说明图。
图21是解释在分组报头中提供的扩展的说明图。
图22是解释分组报头中提供的扩展的另一个说明图。
图23是解释传输数据格式的说明图。
图24是解释分组报头的结构示例的说明图。
具体实施方式
下面参照附图描述本公开的优选实施例。注意，在接下来的描述和附图中，具有基本相同的功能和配置的组成元件由相同的附图标记表示，并且不再重复多余的解释。
按以下顺序进行说明：
1.本公开的实施例
1.1.背景
1.2.配置示例
1.3.操作示例
2.结论
<1.本公开的实施例>
[1.1.背景]
在详细解释本公开的实施例之前，首先解释本公开是如何产生的背景。
利用图像传感器进行图像获取和曝光的一种现有的普通方法包括以获取具有适当亮度的图像的方式调整图像传感器的曝光时间。例如，在获取30fps的运动图像并且被摄体非常亮以至于导致过度曝光的情况下，尝试以短于1/30秒(约33.3毫秒)的曝光时间来保持适当的亮度。另一方面，在对象太暗而导致曝光不足的情况下，试图通过使用可以分配给30fps一帧的最大曝光时间1/30秒来获取图像。
然而，现有的用曝光时间来补偿灵敏度不足的普通方法存在的问题是，当拍摄运动物体时，会导致与曝光时间长度相对应的运动模糊。这个问题的一个解决方案是尽可能缩短曝光时间的已知方法，以最小化在从图像传感器获取图像时运动模糊的发生，至少两个获取的图像信号帧用于运动补偿。因此，图像以避免运动模糊的方式彼此重叠，这使得可以防止关于适当曝光的灵敏度不足或信噪比降低。
近年来，已经开发了更多用于更高分辨率的图像传感器，用于例如以增强的分辨率勘测广阔的区域。给定上述现有技术，如果从图像传感器传输多个采集图像所需的时间超过受硬件限制的可传输时间，则高分辨率图像传感器需要内部缓冲存储器。
另一方面，即使对于整个图像以1/30秒的适当曝光，当被获取时，图像中的部分明亮部分也可能饱和。PTL 1号提出了处理这种情况的技术。所提出的技术包括在获取单帧图像时，在n次分别获取多达n个图像，这n个图像进行信号处理，以便获得高动态范围的图像。然而，在PTL 1中公开的技术仅能够以1/n的最大帧速率产生高动态范围图像，该最大帧速率是根据传输速率的硬件限制计算的最大帧速率的运动图像。
例如，在PTL 2到PTL 4中已经提出了与曝光时间长度成比例地出现运动模糊现象的解决方案，包括从拍摄图像(静止和运动图像)中去除运动模糊的方法和设计用于去除运动模糊的图像处理装置。PTL 2描述了一种用于从拍摄的图像中去除运动模糊的图像处理方法，该方法被应用于能够在30fps的显示设备上显示以900fps以上拍摄的图像的装置。此外，PTL 3和PTL 4描述了用于在输出图像之前从拍摄的图像中去除运动模糊的实时图像处理方法。然而，在引用的文献中描述的技术都涉及从拍摄的图像中估计和去除运动模糊。在这方面，除了需要复杂的算法和电路配置之外，这些技术很难完全消除运动模糊。
鉴于上述情况，本公开的公开人仔细研究了同时减少运动模糊的产生、饱和区域的产生以及减少信噪比的产生的技术。结果，如下文将解释的，本公开的公开人构思了读取图像中设置的区域的技术，从而同时减少运动模糊的产生、饱和区域的产生和信噪比降低的产生。
前面的段落已经讨论了本公开是如何产生的背景。以下是如何实现本公开的详细解释。
[1.2.配置示例]
(1)可以应用本实施例的发送方法的通信系统的配置
首先说明可以应用本实施例的发送方法的通信系统的配置示例。
下面说明的是构成本实施例的通信系统的装置通过符合MIPI(移动行业处理器接口)CSI-2(照相机串行接口2)标准的方法相互通信的示例。应当注意，MIPI CSI-2标准并不限制构成本实施例的通信系统的装置之间的通信方法。或者，例如，可以采用符合由MIPI联盟制定的另一标准的通信方法，例如MIPI CSI-3标准或MIPI DSI(显示串行接口)标准，用于构成本实施例的通信系统的装置之间的通信。此外，显然，由MIPI联盟制定的标准并不限制构成本实施例的通信系统的装置之间的通信方法。
图1是描述体现本公开的通信系统1000的配置示例的说明图。通信系统1000的示例包括通信装置，例如智能手机、无人机(可以远程操作或可以自主行动的装置)和例如汽车的移动对象。注意，这些示例不是对可以应用本公开的通信系统1000的示例的限制。稍后将讨论通信系统1000的其他示例。
例如，通信系统1000具有图像传感器100、处理器200、存储器300和显示设备400。
图像传感器100具有成像功能和发送功能，从而发送指示通过成像生成的图像的数据。处理器200接收从图像传感器100发送的数据，并处理接收的数据。也就是说，在通信系统1000中，图像传感器100充当发送装置，处理器200充当接收装置。
注意，尽管图1描绘了具有单个图像传感器100的通信系统1000，这并不限制本实施例的通信系统所拥有的图像传感器100的数量。或者，体现本公开的通信系统可以具有例如两个或更多个图像传感器100。
此外，尽管图1描绘了具有单个处理器200的通信系统1000，这并不限制本实施例的通信系统所拥有的处理器200的数量。或者，体现本公开的通信系统可以具有例如两个或更多个处理器200。
在具有多个图像传感器100和多个处理器200的通信系统中，它们之间可能存在一对一的对应关系。或者，一个处理器200可以对应于多个图像传感器100。同样，在具有多个图像传感器100和多个处理器200的通信系统中，一个图像传感器100可以对应于多个处理器200。
同样，在具有多个图像传感器100和多个处理器200的通信系统中，以类似于图1所示的通信系统1000的方式，在图像传感器100和处理器200之间进行通信。
图像传感器100和处理器200通过数据总线B1彼此电连接。数据总线B1是连接图像传感器100和处理器200的信号传输路径。例如，从图像传感器100发送的指示图像的数据(该数据在下文中可称为“图像数据”)通过数据总线B1从图像传感器100发送到处理器200。
在通信系统1000中，信号按照符合预定标准(例如MIPI CSI-2标准)的通信方法通过数据总线B1发送。
图2和图3是描述根据MIPI CSI-2标准的分组格式的说明图。图2描绘了由MIPICSI-2标准规定的短分组格式，图3描述了由MIPI CSI-2标准规定的长分组格式。
长分组构成包括分组报头(图3所示的“PH”)、有效载荷(图3所示的“有效载荷数据”)和分组报尾(图3所示的“PF”)的数据。如图2所示，短分组构成具有与分组报头(图3所示的“PH”)类似的结构的数据。
短分组和长分组各自在报头部分中记录VC(虚拟信道)号(图2和3中描绘的“VC”；VC值)。每个分组可以被分配适当的VC号。分配了相同VC号的分组将作为属于相同图像数据的分组进行处理。
此外，短分组和长分组各自在报头部分中记录DT(数据类型)值(如图2和3所示的“数据类型”)。因此，如同VC一样，被分配了相同DT值的分组可以作为属于相同图像数据的分组来处理。
长分组的报头部分的“字数”通过使用字数来记录分组的结尾。短分组和长分组的报头部分中的“ECC”记录了纠错码。
根据MIPI CSI-2标准，在数据信号发送周期中使用高速差分信号，在数据信号消隐周期中使用低功率信号。此外，使用高速差分信号的时段被称为HPS(高速状态)时段，使用低功率信号的时段被称为LPS(低功率状态)时段。
图4描绘了描述与根据MIPI CSI-2标准的分组发送相关的信号波形示例的说明图。在图4中，子图A描述了分组发送的一个示例，子图B描述了分组发送的另一个示例。图4中的首字母缩写“ST”、“ET”、“PH”、“PF”、“SP”和“PS”代表以下内容：
ST：发送开始
ET：发送结束
PH：分组报头
PF：分组报尾
SP：短分组
PS：分组间距
如图4所示，在LPS周期(“LPS”，如图4所示)中的差分信号和HPS周期(除了图4中描述的“LPS”)中的差分信号被认为振幅不同。因此，从提高发送效率的角度来看，优选尽可能多地排除LPS周期。
图像传感器100和处理器200通过例如控制总线B2彼此电连接，该控制总线不同于数据总线B1。控制总线B2是连接图像传感器100和处理器200的另一个信号传输路径。例如，从处理器200输出的控制信息通过控制总线B2从处理器200发送到图像传感器100。
控制信息包括例如用于控制目的的信息和处理指令。用于控制目的的信息的示例包括用于控制图像传感器100的功能的数据，例如至少指示图像大小的数据、指示帧速率的数据、或者指示从接收图像输出指令到输出图像的输出延迟量的数据。此外，控制信息还可以包括识别图像传感器100的识别信息。识别信息例如可以是能够识别图像传感器100的任何适当的数据，例如设置给图像传感器100的标识。
注意，通过控制总线B2从处理器200发送到图像传感器100的信息不限于上述示例。或者，例如，处理器200可以通过控制总线B2发送指定图像中的区域的区域指定信息。区域指定信息可以包括用于识别区域的适当格式的数据，例如指示包括在区域中的像素位置的数据(例如，表示指示区域中像素位置的坐标的坐标数据)。
虽然图1描绘了图像传感器100和处理器200通过控制总线B2彼此电连接的示例，图像传感器100和处理器200不需要经由控制总线B2连接。或者，例如，图像传感器100和处理器200可以基于适当的通信方法通过无线通信在它们之间交换控制信息。
下面解释构成图1中描述的通信系统1000的组件。
(1-1)存储器300
存储器300是通信系统1000拥有的记录介质。存储器300的示例包括诸如RAM(随机存取存储器)的易失性存储器和诸如闪存的非易失性存储器。存储器300依靠由构成通信系统1000的一部分的内部电源(例如电池(未示出))提供的电力或者由通信系统1000外部的电源提供的电力来操作。
存储器300存储例如从图像传感器100输出的图像。例如，由处理器200控制将图像记录到存储器300。
(1-2)显示设备400
显示设备400是通信系统1000所拥有的显示设备。显示设备400的示例包括液晶显示器和有机EL显示器(有机电致发光显示器；也称为OLED显示器(有机发光二极管显示器)。显示设备400依靠由构成通信系统1000的一部分的内部电源(例如电池(未示出))提供的电力来操作，或者依靠由通信系统1000外部的电源提供的电力来操作。
显示设备400的显示屏显示不同的图像和画面，例如从图像传感器100输出的图像、与由处理器200执行的应用相关的画面以及与UI(用户界面)相关的画面。例如，显示设备400的显示屏上的图像等的显示由处理器200控制。
(1-3)处理器200(接收装置)
处理器200接收从图像传感器100发送的数据，并处理接收的数据。如上所述，处理器200充当通信系统1000中的接收装置。与从图像传感器100发送的数据的处理相关的典型配置(即，充当接收装置角色的配置)将在后面讨论。
处理器200包括至少一个处理器，该处理器包括运算电路，例如MPU(微处理器)，以及各种处理电路。处理器200依靠由构成通信系统1000的一部分的内部电源(例如电池(未示出))提供的电力来操作，或者依靠由通信系统1000外部的电源提供的电力来操作。
处理器200执行各种处理，例如包括控制图像数据向诸如存储器300的记录介质的记录的处理、控制图像在显示设备400的显示屏上的显示的处理以及执行期望的应用软件的处理。记录控制过程的一个示例包括“将包括记录指令和要记录到记录介质的数据的控制数据发送到记录介质如存储器300的过程”。此外，显示控制过程的一个示例包括“将包括记录指令和要在显示屏上显示的数据的控制数据发送到诸如显示设备400的显示设备的过程”。
此外，例如，处理器200可以通过向图像传感器100发送控制信息来控制图像传感器100的功能。例如，处理器200可以通过向图像传感器100发送区域指定信息来进一步控制从图像传感器100发送的数据。
(1-4)图像传感器100(发送装置)
图像传感器100具有成像功能和发送功能，从而发送指示通过成像生成的图像的数据。如上所述，图像传感器100充当通信系统1000中的发送装置。
图像传感器100的示例包括通过适当的方法操作并且能够生成图像的图像传感器设备，包括“诸如数字静态照相机、数字摄像机或立体照相机之类的成像设备”，“红外线传感器”和“距离图像传感器”。图像传感器100具有发送所生成的数据的功能。由图像传感器100生成的图像表示指示图像传感器100的感测结果的数据。稍后将讨论图像传感器100的配置示例。
使用稍后将讨论的本实施例的发送方法，图像传感器100发送对应于图像中设置的区域的数据(以下称为“区域数据”)。区域数据的发送例如由用作图像传感器100的图像处理部分的构成元件(将在后面讨论)来控制。在某些情况下，图像中设置的区域可以称为ROI区域(感兴趣区域)。在下面的描述中，图像中设置的区域可以分别被称为“ROI区域”。
与设置图像中的区域相关的处理的示例包括用于识别图像中的部分区域的适当处理(或用于从图像中剪切部分区域的适当处理)，例如“从图像中检测对象并设置包括检测到的对象的区域的处理”和“设置由合适的操作装置的操作指定的区域的处理”。
与图像中区域的设置相关的处理可以由图像传感器100或者由诸如处理器200的外部装置来执行。在图像传感器100执行与设置图像中的区域相关的处理的情况下，图像传感器100根据设置图像中的区域的处理结果来识别区域。此外，在外部装置执行与图像中的区域设置相关的处理的情况下，例如，图像传感器100基于从外部装置获取的区域指定信息来识别区域。
当图像传感器100发送区域数据时，即，当它发送代表图像的部分的数据时，发送的数据量小于代表整个发送图像的数据量。因此，当图像传感器100发送区域数据时，数据量的减少提供了各种优点，例如通信系统1000的发送时间更短和发送载荷减少。
应当注意，图像传感器100也能够发送表示整个图像的数据。
在图像传感器100具有发送区域数据的功能和发送表示整个图像的数据的功能的情况下，图像传感器100可以被配置为选择性地在区域数据的发送和整个图像数据的发送之间切换。
例如，图像传感器100根据建立的操作模式发送区域数据或整个图像数据。例如，通过操作适当的操作装置来建立操作模式。
或者，图像传感器100可以基于从外部装置获取的区域指定信息，在发送区域数据和发送整个图像数据之间选择性地切换。例如，当从外部装置获取区域指定信息时，图像传感器100发送关于与所获取的区域指定信息相对应的区域的区域数据；当没有从外部装置获取区域指定信息时，图像传感器100发送指示整个图像的数据。
例如，通信系统1000具有图1所示的配置。应当注意，图1中的示例并不限制本实施例的通信系统可以如何配置。
例如，尽管图像传感器100被描绘为用作图1中的发送装置的装置的示例，用作发送装置的装置不限于图像传感器100。可选地，在本实施例的通信系统包括诸如成像装置的图像传感器装置和与图像传感器装置电连接的发射器的情况下，发射器可以扮演发送装置的角色。
此外，尽管处理器200被描绘为充当图1中的接收装置的装置的示例，作为接收装置操作的装置不限于处理器200。或者，在本实施例的通信系统中，例如，具有接收数据能力的适当装置可以扮演接收装置的角色。
在从图像传感器100发送的图像被存储到通信系统外部的记录介质中的情况下，在从图像传感器100发送的图像被存储到处理器200的存储器中的情况下，或者在从图像传感器100发送的图像没有被记录的情况下，本实施例的通信系统不需要拥有存储器300。
此外，本实施例的通信系统可以被配置为没有图1中描绘的显示设备400。
此外，本实施例的通信系统可以以对应于电子装置的功能的方式来配置，这将在后面讨论，其中采用了本实施例的通信系统。
尽管在前面的段落中已经将通信系统解释为本公开的一个实施例，但是本实施例不限制本公开。可选地，本公开可以以各种类型的电子装置的形式实现，包括诸如智能手机、无人机(可以远程操作或可以自主行动的装置)、诸如汽车的移动对象、诸如PC(个人计算机)的计算机、平板型装置、游戏机和监视摄像机的通信装置。
下面解释的是用于同时减少运动模糊的产生、饱和区域的产生以及减少信噪比的产生的通信系统的操作的概要。
图5是概述在整个图像从图像传感器100发送到处理器200的情况下改变帧曝光时间所涉及的操作的说明图。图5描绘了对于某些帧缩短曝光时间(在图5的示例中缩短到1/480秒或更少)的情况。当整个图像以这种方式从图像传感器100发送到处理器200时，高动态范围图像的生成受到如上所述的约束。
图6是概述在仅将图像中设置的一些区域从图像传感器100发送到处理器200的情况下改变帧曝光时间所涉及的操作的说明图。图6示出了缩短某些帧的曝光时间(在图6的示例中缩短为1/480秒)并且发送垂直尺寸为这些帧中的每一个的1/16的多个数据项(在图6的示例中为16项)的情况。即，在本实施例中，图像传感器100被配置为具有至少两种模式，即，一种是读出整个拍摄区域并将其发送到处理器200，另一种是读出设定区域(ROI)并将其发送到处理器200。
当如上所述利用本实施例发送数据时，可以让处理器200通过仅发送图像中的部分区域来生成图像中的部分区域的高分辨率图像，同时发送的数据量保持与整个发送图像的数据量相同。
(图像传感器100)
下面解释本实施例的图像传感器100的配置示例。图7是描述本实施例的图像传感器100的配置示例的硬件框图。图像传感器100包括例如图像传感器装置102和IC芯片104。图7中描绘的图像传感器100依靠构成通信系统1000的一部分的内部电源(例如电池(未示出))提供的电力工作，或者依靠通信系统1000外部的电源提供的电力工作。
图像传感器装置102的示例包括通过适当的方法操作并且能够生成图像的图像传感器装置，包括“诸如数字静态照相机的成像装置”、“红外线传感器”和“距离图像传感器”。
例如，用作图像传感器装置102的成像装置包括透镜/成像元件和信号处理电路。
透镜/成像元件包括例如光学透镜和使用多个成像元件的图像传感器，例如CMOS(互补金属氧化物半导体)或CCD(电荷耦合器件)。
信号处理电路包括例如AGC(自动增益控制)电路和ADC(模数转换器)，从而将成像元件产生的模拟信号转换成数字信号(图像数据)。此外，例如，信号处理电路执行与RAW现象相关的各种处理。此外，信号处理电路可以执行不同的信号处理，例如白平衡调整、颜色校正、伽马校正、YCbCr转换和边缘增强。
此外，信号处理电路可以执行与图像中的区域设置相关的处理，并将区域指定信息发送到IC芯片104。此外，信号处理电路可以向IC芯片104传送包括曝光信息和增益信息的各种数据。
指示由图像传感器装置102生成的图像的信号被传送到IC芯片104。应当注意，在表示从图像传感器装置102传送到IC芯片104的图像的信号是模拟信号的情况下，IC芯片104可以例如让内部ADC转换器将模拟信号转换成数字信号，并处理通过该转换获得的图像数据。下面的解释使用图像数据从图像传感器装置102传送到IC芯片104的情况作为示例。
IC芯片104是以芯片的形式集成与数据发送功能相关的电路的IC(集成电路)。IC芯片104处理从图像传感器装置102传送的图像数据，并发送对应于如此生成的图像的数据。对应于图像的数据由从图像传感器装置102传送的图像数据构成(即，表示整个图像的数据)或者由区域信息和区域数据来表示。应当注意，与数据发送功能相关的电路不限于单个IC芯片的实现。或者，这些电路可以以多个IC芯片的形式实现。
IC芯片104包括例如图像处理电路106、LINK控制电路108、ECC产生电路110、PH产生电路112、EBD缓冲器114、图像数据缓冲器116、合成电路118和发送电路120。
图像处理电路106是具有执行与本实施例的发送方法相关的处理的功能的电路。在执行与本实施例的发送方法相关的处理的情况下，图像处理电路106为构成图像的每一行设置区域信息，并且使得LINK控制电路108、ECC产生电路110、PH产生电路112、EBD缓冲器114、图像数据缓冲器116、合成电路118和发送电路120每行发送设置的区域信息和对应于所涉及的区域的区域数据。此外，图像处理电路106可以为每一行发送从图像传感器装置102传送的图像数据(即，表示整个图像的数据)。
图像处理电路106的一个示例是诸如MPU的处理器。
下面通过将图像处理电路106划分成功能块来解释其所具有的功能。如图7所示，图像处理电路106包括例如区域剪切部分122、图像处理控制部分124和编码部分126。
区域剪切部分122执行在图像中设置区域的处理。假设由从图像传感器装置102传送的图像数据表示的图像，区域裁剪部分122设置感兴趣区域(ROI)。例如，区域裁剪部分122根据当前设置的操作模式来执行在图像中设置区域的处理。例如，在要发送区域数据的操作模式的情况下，区域剪切部分122执行在图像中设置区域的处理。在要发送表示整个图像的数据的操作模式的情况下，区域剪切部分122不执行在图像中设置区域的处理。
例如，区域剪切部分122通过对图像执行适当的对象检测处理来从图像中检测对象。对于每个检测到的对象，区域剪切部分122设置包括检测到的对象的区域。区域裁剪部分122可以可选地设置由适当的操作装置的操作指定的区域。
在设置了区域的情况下，例如，区域剪切部分122向图像处理控制部分124发送指定设置的区域的区域指定信息。在没有设置区域的情况下，区域剪切部分122不向图像处理控制部分124发送任何区域指定信息。
此外，区域剪切部分122将从图像传感器装置102传送的图像数据传送到编码部分126。
图像处理控制部分124执行与本实施例的发送方法相关的处理。图像处理控制部分124为构成图像的每一行设置区域信息，并将设置的区域信息发送到编码部分126和PH产生电路112。
例如，图像处理控制部分124基于从区域剪切部分122获取的区域指定信息或从外部装置获取的区域指定信息(未示出)，识别组成图像的每个行中包括的区域。此外，基于所识别的区域，图像处理控制部分124为每行设置区域信息。此时，如在上述处理中一样，图像处理控制部分124不需要将与包括在关于要发送的前一行的区域信息中的信息保持不变的信息设置为区域信息。
另外，在没有获取区域指定信息的情况下，图像处理控制部分124不设置区域信息。
应当注意，上述处理不限于由图像处理控制部分124执行的处理。
例如，图像处理控制部分124可以例如生成帧信息并将生成的帧信息传送到LINK控制电路108。帧信息的一个示例是分配给每个帧的VC号。此外，帧信息还可以包括指示数据类型的数据，例如YUV数据、RGB数据或RAW数据。
在另一示例中，图像处理控制部分124可以执行设置附加信息的处理，并将设置的附加信息传送到EBD缓冲器114。
设置附加信息的过程的一个示例是生成附加信息的过程。生成附加信息的过程的示例至少包括生成指示区域数据量的信息的过程、生成指示区域大小的信息的过程或者生成指示区域优先级的信息的过程。
应当注意，设置附加信息的过程不限于生成附加信息的过程。可选地，图像处理控制部分124可以将从图像传感器装置102获取的信息(例如曝光信息和增益信息)设置为附加信息。作为另一种选择，图像处理控制部分124可以将各种区域相关数据设置为附加信息，例如指示物理区域长度的数据、指示输出区域长度的数据、指示图像格式的数据和指示总数据量的数据。物理区域长度的一个示例是图像传感器装置102的像素数。输出区域长度的示例是从图像传感器装置102输出的图像中的像素数(图像中的长度)。
编码部分126通过使用例如符合预定标准(例如JPEG(联合图像专家组)标准)的适当方法，对例如从图像传感器装置102传送的图像数据进行编码。
在没有从图像处理控制部分124获取区域信息的情况下，编码部分126将编码的图像数据传送到图像数据缓冲器116。在下面的描述中，编码的图像数据，即，表示编码的整个图像的数据可以被称为“正常数据”。
另外，在从图像处理控制部分124获取区域信息的情况下，编码部分126将获取的区域信息和指示区域的编码区域数据传送到图像数据缓冲器116。
例如，利用配置在其中的区域剪切部分122、图像处理控制部分124和编码部分126，图像处理电路106执行与本实施例的发送方法相关的处理。要注意的是，为了方便起见，图像处理电路106的功能被划分成如图7所示的功能块，并且这种划分功能的方式并不限制如何划分图像处理电路106的功能。
LINK控制电路108将例如每行的帧信息传送到ECC产生电路110、PH产生电路112和合成电路118。
ECC产生电路110为每条线设置纠错码。根据帧信息中每行的数据(例如，VC号或数据类型)，例如，ECC产生电路110为该行生成纠错码。例如，ECC产生电路110将产生的纠错码传送到PH产生电路112和合成电路1188。替换地，ECC产生电路110可以与PH产生电路112协同产生纠错码。
PH产生电路112通过使用帧信息为每行生成分组报头。
可替换地，基于从图像处理电路106(图7的示例中的图像处理控制部分124)传送的区域信息，PH产生电路112可以生成分组报头。具体而言，基于区域信息，PH产生电路112在分组报头中设置诸如“指示要发送的包括在区域信息中的信息是否已经从包括在前一分组中的区域信息改变的数据”(改变信息)之类的数据。
EBD缓冲器114是暂时保存从图像处理电路106(图7的示例中的图像处理控制部分124)传送的附加信息的缓冲器。EBD缓冲器114以适当的定时方式将附加信息作为“嵌入数据”输出到合成电路118。顺便提及，从EBD缓冲器114输出的“嵌入数据”可以通过稍后将讨论的图像数据缓冲器116传送到合成电路118。在要发送的附加信息(ROI区域信息)已经被用作接收装置的处理器200识别的情况下，寄存器可以被设置为跳过对应于来自发送电路120的附加信息的EBD数据的发送，这将在后面讨论。
图像数据缓冲器116是临时保存从图像处理电路106(图7的示例中的编码部分126)传送的数据(正常数据或区域信息和区域数据)的缓冲器。图像数据缓冲器116以适当定时的方式每行向合成电路118输出保持的数据。
例如，合成电路118基于从ECC产生电路110、从PH产生电路112、从EBD缓冲器114和从图像数据缓冲器116获取的数据来产生发送分组。
假定从合成电路118传送的分组，发送电路120通过数据总线B1(信号传输路径的示例，其适用于随后的段落)每行发送分组作为发送数据147A。例如，发送电路120通过使用高速差分信号来发送分组，例如图4所示。
下面解释由本实施例的图像传感器100发送的数据的具体示例。图8是描述由本实施例的图像传感器100发送的数据的一个具体示例的说明图。
在图8中，“FS”代表根据MIPI CSI-2标准的FS(帧开始)分组。同样在图8中，“FE”代表根据MIPI CSI-2标准的FE(帧结束)分组(两个缩写也适用于其他附图)。
在图8中，“嵌入数据”表示可以嵌入要发送的分组中的数据。例如，“嵌入数据”可以嵌入要发送的分组的报头、有效载荷或报尾。在图8的示例中，区域信息存储在一个分组的“嵌入数据”中，其中存储有区域信息的“嵌入数据”代表附加数据。
本实施例发送两种类型的信息：指示区域大小的“嵌入数据”形式的信息；以及指示对于ROI区域有多少发送帧继续的信息。当图8中描述的“嵌入数据”形式的指示区域大小的信息，以及指示对于感兴趣的区域继续发送多少帧的信息被发送时，处理器200可以识别多达n个(在图8的示例中为16个)最小矩形区域，包括由t＝0表示的最小矩形区域、由t＝1表示的最小矩形区域，等等，直到图8中描绘的由t＝15表示的最小矩形区域。也就是说，即使处理器200既没有基于区域信息识别包括上述区域的最小矩形区域的功能，也没有识别对于感兴趣的区域有多少个发送帧继续的功能，图8中描述的“嵌入数据”形式的指示区域大小的信息和指示对于感兴趣的区域有多少发送帧继续的信息的发送使得处理器200能够基于区域信息识别包括上述区域的最小矩形区域，并且还能够识别对于感兴趣区域有多少发送帧继续。应当注意，显然，指示区域大小的信息不限于指示包括上述区域的最小矩形区域的数据。
显然，上述以例如图8指示的“嵌入数据”形式发送的、指示区域数据量的信息，指示区域大小的信息，以及指示对于图8中所描绘的感兴趣区域多少个发送帧继续的信息并不限制这种类型的信息。此外，并非所有这些信息都需要发送。
首先，在从图像传感器100发送整个图像的情况下，当发送时，在有效载荷数据中设置每帧的图像数据。在图8的示例中，一个图像被垂直划分为16个部分，并且图像数据被存储在每个划分行的有效载荷数据中。显然，每帧在垂直方向上的划分数量不限于该示例的数量。
接下来，在图像中的部分区域从图像传感器100发送的情况下，例如其中在垂直方向上各具有1/16尺寸的编号为0至15的16个图像被发送，如图6所示，编号为0到15的数据项存储在有效载荷数据中。这使得图像传感器100能够以短曝光时间发送多个图像，每个图像具有与发送整个图像时相同的数据量。
给定在“嵌入数据”中的区域大小数据和指示整个屏幕发送一帧所花费的时间内继续被发送的信息，即使没有指示该区域连续发送多少帧的明确信息，充当接收装置的处理器200也可以基于“嵌入数据”的内容来获取指示感兴趣区域的连续发送帧的数量的信息。
上述示例不限于从图像传感器100发送的数据的示例。图9是描述由本实施例的图像传感器100发送的数据的另一具体示例的说明图。图9中描述的示例是一个具体的示例，其中在垂直方向上发送16个图像，每个图像的大小为1/16，编号为0到15。和图8中的示例的不同在于是每个图像的数据在发送时以“FS”分组开始，以“FE”分组结束。在该示例中，编号为0至15的每个图像都与“嵌入数据”一起发送，因此所涉及的数据量略大于图8所示示例中的数据量。此外，有效载荷数据的量保持与图8的示例中相同。因此，图像传感器100可以以短曝光时间发送多个图像，每个图像的数据量与发送整个图像时的数据量大致相同。
(处理器200)
接下来解释处理器200。图10描绘了本实施例的处理器200的配置示例。处理器200是根据与图像传感器100相同的标准(例如，MIPI CSI-2标准、MIPI CSI-3标准或MIPI DSI标准)接收信号的装置。例如，处理器200包括接收部分210和信息处理部分220。接收部分210是经由数据通道DL接收从图像传感器100输出的发送数据147A并对接收的发送数据147A执行预定处理的电路，从而生成不同的数据(214A、215A和215B)并将生成的数据发送到信息处理部分220。信息处理部分220是基于从接收部分210接收的不同数据(214A和215A)生成ROI图像223A，或者基于从接收部分210接收的数据(215B)生成正常图像224A的电路。
例如，接收部分210包括报头分离部分211、报头解释部分212、有效载荷分离部分213、EBD解释部分214和ROI数据分离部分215。
报头分离部分211经由数据通道DL从图像传感器100接收发送数据147A。也就是说，报头分离部分211接收发送数据147A，该发送数据147A包括关于由图像传感器100拍摄的图像中设置的区域ROI的ROI信息，发送数据147A还具有长分组中的有效载荷数据中包括的每个区域ROI的图像数据。报头分离部分211将接收的发送数据147A分离成帧报头区域和分组区域。报头解释部分212基于包括在帧报头区域中的数据(具体地，嵌入数据)，识别包括在分组区域中的长分组中的有效载荷数据的位置。有效载荷分离部分213基于由报头解释部分212识别的长分组中的有效载荷数据位置，将包括在分组区域中的长分组中的有效载荷数据与分组区域分离。此外，例如，在处理器已经识别出包含在EBD数据或长分组中的附加信息(ROI信息)的情况下，可以跳过发送ROI区域信息的一部分或全部。具体而言，处理器使报头解释部分212保留对应于EBD数据的信息，并且基于所保留的信息，识别包括在分组区域中的长分组中的有效载荷数据位置。
EBD解释部分214将嵌入数据作为EBD数据214A输出到信息处理部分220。此外，根据嵌入数据中包括的数据类型，EBD解释部分214确定长分组中的有效载荷数据中包括的图像数据是从ROI图像数据导出的压缩图像数据还是从正常图像数据导出的压缩图像数据。EBD解释部分214将确定的结果输出到ROI数据分离部分215。
在长分组中的有效载荷数据中包括的图像数据是从ROI图像数据导出的压缩图像数据的情况下，ROI数据分离部分215将长分组中的有效载荷数据视为有效载荷数据215A，并将有效载荷数据215A输出到信息处理部分220(具体地，ROI解码部分222)。在有效载荷数据中包括的图像数据是从正常图像数据导出的压缩图像数据的情况下，ROI数据分离部分215将长分组中的有效载荷数据视为有效载荷数据215B，并将有效载荷数据215B输出到信息处理部分220(具体地，正常图像解码部分224)。在ROI信息包括在长分组的有效载荷数据中的情况下，有效载荷数据215A包括压缩图像数据中的一行像素数据和ROI信息。
信息处理部分220从包含在EBD数据214A中的嵌入数据中提取ROI信息。基于由信息提取部分221提取的ROI信息，信息处理部分220从由接收部分210接收的发送数据中包括的长分组中的有效载荷数据提取拍摄图像中的每个感兴趣区域ROI的图像。例如，信息处理部分220包括信息提取部分221、ROI解码部分222、ROI图像生成部分223、正常图像解码部分224和存储器225。
正常图像解码部分224通过解码有效载荷数据215B来生成正常图像224A。ROI解码部分222通过解码有效载荷数据215A中包括的压缩图像数据147B来生成图像数据222A。图像数据222A包括一个或多个发送图像。
信息提取部分221从包含在EBD数据214A中的嵌入数据中提取ROI信息。信息提取部分221从包含在EBD数据214A中的嵌入数据中提取例如包括在拍摄图像中的感兴趣区域ROI的数量、每个感兴趣区域ROI的区域数量、每个感兴趣区域ROI的数据长度以及每个感兴趣区域ROI的图像格式。
基于由信息提取部分221获得的ROI信息，ROI图像生成部分223生成拍摄图像中的每个感兴趣区域ROI的图像。ROI图像生成部分223输出生成的图像作为ROI图像223A。
存储器225临时存储由ROI图像生成部分223生成的ROI图像。在生成ROI图像时，ROI图像生成部分223利用存储在存储器225中的ROI图像来执行图像合成处理。这允许ROI图像生成部分223生成具有减少的运动模糊的ROI图像。
图6描述了垂直尺寸是整个图像的1/16的图像被发送的示例，下面描述的是另一个示例。图11是概述在仅将图像中设置的区域从图像传感器100发送到处理器200的情况下改变帧曝光时间所涉及的操作的说明图。图11示出了其中一些帧的曝光时间缩短(在图11的示例中缩短到1/480秒)并且其中在这些帧中发送的是多个数据项(在图11的示例中是16个)的示例，这些数据项的垂直尺寸和水平尺寸分别是整个图像的1/4。
图12是概述在仅将图像中设置的区域从图像传感器100发送到处理器200的情况下改变帧曝光时间所涉及的操作的另一说明图。图12示出了其中一些帧的曝光时间缩短(在图12的示例中缩短到1/240秒)并且在这些帧中发送的是多个数据项(在图12的示例中为8个)的示例，该多个数据项的垂直尺寸和水平尺寸分别是整个图像的1/8和1/4，以及多个数据项(在图12的示例中为8个)，这些数据项的垂直大小和水平大小分别为整个图像的1/16和1/2。也就是说，可以根据图像传感器100读出的区域的大小来确定曝光时间，或者可以根据图像传感器100的曝光时间(或帧速率)来确定图像传感器100读出的区域的大小。例如，ROI图像生成部分223可以根据要生成的ROI图像的大小来确定图像传感器100的帧速率，或者根据图像传感器100的帧速率来确定ROI图像的大小。
图13是描述当进行结合图12解释的发送时，由本实施例的图像传感器100发送的数据的另一特定示例的说明图。在图像传感器100发送图12中找到的两个区域中编号为0至7的八个图像的情况下，编号为0到7的数据项存储在有效载荷数据中。这使得图像传感器100能够以与发送整个图像的情况相同的数据量发送短曝光时间的多个图像。
当从用于发送部分区域的帧返回到用于发送所有区域的帧时，图像传感器100可以混合使用两个曝光时间，即，针对部分区域的短曝光时间，而未被指定为部分区域的区域的长曝光时间。通过以混合方式执行曝光，图像传感器100可以从返回后的第一帧开始对整个屏幕执行近似均匀的曝光。
图14是概述在仅将图像中设置的区域从图像传感器100发送到处理器200的情况下改变帧的曝光时间所涉及的操作的另一说明图。图14示出了其中一些帧的曝光时间缩短(在图14的示例中为1/240秒)并且在这些帧中发送的是多个数据项(在图14的示例中为8个)的示例，该多个数据项的垂直尺寸和水平尺寸分别是整个图像的1/8和1/4，以及多个数据项(在图14的示例中为8个)的垂直大小和水平大小分别为整个图像的1/16和1/2。
这里，在第(n+1)帧中，两个曝光时间混合共存，即，部分区域的短曝光时间，而未被指定为部分区域的区域的长曝光时间。当接收到来自图像传感器100的发送时，处理器200将部分区域的短时曝光结果与剩余区域的曝光结果相结合，从而从返回后的第一帧开始对整个屏幕执行近似均匀的曝光。
下面描述另一个示例。图15是概述在仅将图像中设置的区域从图像传感器100发送到处理器200的情况下改变帧的曝光时间所涉及的操作的另一说明图。图15描绘了其中一些帧的曝光时间缩短(图15的示例缩短到1/480秒)并且在这些帧中发送的是多个数据项(在图15的示例中是16个)的示例，该多个数据项的垂直尺寸和水平尺寸分别是整个图像的1/8和1/2。
同样在这种情况下，在第(n+1)帧中，两个曝光时间混合共存，即，部分区域的短曝光时间和未被指定为部分区域的区域的长曝光时间。当接收到来自图像传感器100的发送时，处理器200将部分区域的短时曝光结果与剩余区域的曝光结果相结合，从而从返回后的第一帧开始对整个屏幕执行近似均匀的曝光。
图像传感器100可以通过拥有多个电路同时读出多个区域，每个电路从图像传感器装置102读出数据。图16是概述在仅将图像中设置的区域从图像传感器100发送到处理器200的情况下改变帧的曝光时间所涉及的操作的另一说明图。图16描绘了其中一些帧的曝光时间缩短(在图16的示例中缩短到1/480秒)并且其中在这些帧中发送的是多个数据项(在图16的示例中是16个)的两个部分的示例，该多个数据项的垂直尺寸和水平尺寸分别是整个图像的1/4和1/8。
图像传感器100可以以帧为单位改变要读出的区域。例如，假设处理器200(或处理器200下游的装置)在给定帧的部分区域中检测移动对象。在这种情况下，处理器200(或处理器200下游的装置)可以从下一帧开始为图像传感器100仅指定包括移动对象的区域，以便以更详细的方式获取检测到的移动对象的运动。
图17是概述在仅将图像中设置的区域从图像传感器100发送到处理器200的情况下改变帧的曝光时间所涉及的操作的另一说明图。图17示出了其中一些帧的曝光时间缩短(在图17的示例中缩短到1/480秒)并且在这些帧中发送的是多个数据项(在图17的示例中是16个)的两个部分的示例，该多个数据项的垂直尺寸和水平尺寸均为整个图像的1/4。
在给定帧中检测到移动物体之后，处理器200(或处理器200下游的装置)指示图像传感器100进一步缩短对于下一帧的曝光时间(在图17的示例中为1/1920秒)。此外，处理器200(或处理器200下游的装置)指示图像传感器100从帧中读取垂直尺寸和水平尺寸都是整个图像的1/8的图像，以及垂直尺寸和水平尺寸分别是整个图像的1/16和1/4的图像。
本公开的本实施例的图像传感器100通过执行部分区域的曝光，在高动态范围中拍摄并生成高灵敏度的高质量运动图像。这里，可以采用任何合适的区域指定方法。例如，处理器200(例如，ROI图像生成部分223)可以计算构成区域尺寸信息的区域信息数据，并将区域信息数据的计算结果发送到图像传感器100，以便指定要曝光的区域。这里，区域信息数据可以包括要曝光的每个区域的宽度、高度和坐标。
下面解释的是ROI区域的典型数据格式。图18是描绘ROI区域的示例的说明图。例如，假设有四个ROI区域A到D，如图18所示。图19是描绘ROI区域的数据格式的示例的说明图。
“PH”代表分组报头。“嵌入数据”表示可以嵌入要发送的分组中的数据。“嵌入数据”可以至少包括标识ROI区域的ID、表示ROI区域的左上角坐标的位置信息以及ROI区域的高度和宽度。在图19所示的格式中，，第三行及后续行存储ROI区域的实际数据。在ROI区域彼此重叠的情况下，如图18的区域A和区域B的情况，重叠区域的数据只存储一次。
下面是在体现本公开的通信系统中用于从图像传感器100(发送装置)向处理器200(接收装置)发送图像的分组的结构的另一示例的解释。在本实施例的通信系统中，由图像传感器100拍摄的图像被分成以行为单位的部分图像；通过使用至少一个分组来发送每行的部分图像的数据。这同样适用于图像中设置的区域的区域数据(即，其中设置了ROI的部分图像的数据)。
例如，图20是描述用于通过本实施例的通信系统发送图像数据的分组的结构示例的说明图。如图20所示，用于图像发送的分组被定义为数据流中以开始码开始并以结束码结束的一系列数据。该分组还包括以该顺序排列的报头和有效载荷数据。有效载荷数据可以以报尾为后缀。有效载荷数据(或以下简称为有效载荷)包括每行的部分图像的像素数据。报头包括关于对应于包含在有效载荷中的部分图像的行的各种信息。报尾包含附加信息(选项)。
下面解释的是报头中包含的信息。如图20所示，报头依次包括“帧开始”、“帧结束”、“行有效”、“行号”、“EBD行”、“数据ID”、“预留”和“报头ECC”。
帧开始是指示帧开始的一位信息。例如，在用于发送作为发送目标的图像数据中的第一行的像素数据的分组的报头的帧开始处设置值1。在分组报头的帧开始处设置值0，用于发送任何其他行的像素数据。顺便提及，帧开始表示“指示帧开始的信息”的示例。
帧结束是指示帧结束的一位信息。例如，值1被设置在具有有效载荷的分组的报头的帧末端，该有效载荷包括作为发送目标的图像数据中的有效像素区域的结束行的像素数据。值0设置在分组报头的帧结束，用于发送任何其他行的像素数据。顺便提及，帧结束表示“指示帧结束的信息”的示例。
帧开始和帧结束表示帧信息的示例，帧信息是关于帧的信息。
行有效是指示存储在有效载荷中的像素数据行是否是有效像素行的一位信息。值1被设置在分组报头的行有效中，用于发送有效像素区域内的行的像素数据。值0设置在分组报头的行有效中，用于发送任何其他行的像素数据。顺便提及，行有效表示“指示相应行是否有效的信息”的示例。
行号是指示包括存储在有效载荷中的像素数据的行的行号的13位信息。
EBD行是一位信息，指示这是否是具有嵌入数据的行。也就是说，EBD行代表“指示该行是否是具有嵌入数据的行的信息”的示例。
数据ID是用于识别在多个流中传送数据的情况下组成数据的每个数据项(即，有效载荷中包括的数据)的四位信息。顺便提及，数据ID代表“识别包含在有效载荷中的数据的信息”的示例。
行有效、行号、EBD行和数据ID构成行信息，即关于行的信息。
预留是一个27位区域，用于扩展目的。要注意的是，在下面的描述中，指示为预留的区域也可以称为“扩展”。报头信息的数据整体上为六个字节。
如图20所示，在报头信息之后设置的报头ECC包括CRC(循环冗余校验)码，该码是基于六字节报头信息计算的两字节检错码。即，报头ECC表示“用于报头中包括的信息的纠错码”的示例。此外，报头ECC包括两组相同的信息，作为构成报头信息和CRC码的组合的八字节信息，在CRC码之后。
也就是说，单个分组的报头包括相同报头信息和CRC码的三种组合。整个报头的数据量是24字节，由报头信息和CRC码的第一个8字节组合、报头信息和CRC码的第二个8字节组合以及报头信息和CRC码的第三个8字节组合组成。
下面参考图21和22解释分组报头中设置的扩展(预留)。图21和22是解释分组报头中提供的扩展的说明图。
如图21所示，在扩展中，前三位被设置为与要在分组中发送的信息相对应的报头信息的类型(报头信息类型)。在扩展中，报头信息类型决定了信息的格式(即，格式包括信息类型和信息被设置的位置)被设置在剩余的24位区域中，不包括报头信息类型被设置的三个位。这允许接收方验证报头信息类型。报头信息类型的验证使得接收方能够在扩展内识别在报头信息类型被指定的区域之外的特定位置中设置的特定信息。这使得读取设置信息成为可能。
例如，图22描绘了通常如何设置报头信息类型以及通常如何设置分组的可变有效载荷长度(可变行长度)作为使用与报头信息类型的设置相对应的扩展的一种方式。具体地说，在图22的示例中，报头信息类型被设置为对应于有效载荷长度可变的情况的值。更具体地说，在图22的示例中，报头信息类型被设置为值“001”，这不同于在图21的示例中为报头信息类型设置的值“000”。也就是说，在这种情况下，对应于值“001”的报头信息类型表示有效载荷长度可变的情况下的类型。同样在图22的示例中，扩展中的14位分配给“行长度”。“行长度”是用于通知有效载荷长度的信息。这种结构允许接收侧基于设置为报头信息类型的值来识别有效载荷长度是可变的。此外，接收方可以通过读取扩展中设置为“行长度”的值来识别有效载荷长度。
上面参考图20至22解释了在本实施例的通信系统中用于从图像传感器100(发送装置)向处理器200(接收装置)发送图像的分组的一个结构示例。
以下是用于发送图像中设置的区域(ROI)的区域数据的典型发送方法的描述，该方法是本实施例的通信系统的一个技术特征。
图像传感器100将图像中设置的区域的区域数据存储到用于逐行发送的分组的有效载荷中。在随后的描述中，为了方便起见，设置在图像中并且对应于每一行的区域部分可以被称为“部分区域”。
(数据格式)
首先，图23是解释发送数据格式的说明图。在图23中，由参考符号A1表示的一系列分组示意性地表示其中发送图像中设置的区域的区域数据的分组(即，用于发送有效像素区域的数据的分组)。由参考符号A2和A3指示的一系列分组表示不同于用于发送区域数据的分组。要注意的是，在下面的描述中，由参考标记A1、A2和A3指示的分组将被彼此区分，为了方便起见，这些分组可以被称为“分组A1”、“分组A2”和““分组A3”。也就是说，在发送一帧的数据期间，在发送一系列分组A1之前，发送一系列分组A2。一系列分组A3可以在该系列分组发送之后被发送。分组A2或分组A3中的至少一个代表“第一分组”的示例。分组A2代表“第二分组”的示例。
在图23的示例中，该系列分组A2的至少一部分用于发送嵌入数据。例如，当发送时，嵌入数据可以存储在分组A2的有效载荷中。在另一个示例中，当被发送时，嵌入数据可以被存储在不同于分组A2的有效载荷的区域中。
嵌入数据对应于从图像传感器100额外发送的附加信息(即，由图像传感器100嵌入的信息)。嵌入数据的示例包括关于图像拍摄条件的信息和关于发送区域数据的区域(ROI)的信息。
尽管在图23的示例中至少部分分组A2用于发送嵌入数据，在发送嵌入数据时，分组A2可以替换为分组A3的至少一部分。在接下来的描述中，嵌入数据可以被称为“EBD”。
在图23中，“SC”代表“开始码”。这是一组表示分组开始的符号。开始码是分组的前缀。例如，开始码由四个符号表示，即，由三个K字符K28.5、K27.7、K28.2和K27.7组合而成。
“EC”代表“结束码”。这是一组表示分组结束的符号。结束码是分组的后缀。例如，结束码由四个符号表示，即，通过组合三个K字符K28.5、K27.7、K30.7和K27.7。
“PH”代表“分组报头”。例如，上面参考图2解释的报头对应于分组报头。“FS”表示FS(帧开始)分组。“FE”表示FE(帧结束)分组。
“DC”代表“Deskew码”。这是一组符号，用于校正通道之间的数据偏斜，即，用于校正每个通道中接收方接收到的数据的偏斜时序。例如，Deskew码由K28.5和Any**的四个符号表示。
“IC”代表“空闲代码”。这是一组符号，除了在分组发送期间之外的时间段内重复发送。例如，空闲代码由D字符D00.0(00000000)表示，它是8B10B代码。
“DATA”表示存储在有效载荷中的区域数据(即，对应于图像中设置的区域的部分的像素数据)。
“XY”表示在X和Y坐标中指示对应于存储在有效载荷中的区域数据的部分区域(在图像中)的最左边位置的信息。要注意的是，在下面的描述中，由“XY”表示并指示部分区域最左边位置的X和Y坐标可以简单地称为“部分区域的XY坐标”。
部分区域的XY坐标存储在分组A1的有效载荷的开始处。在对应于每个连续发送的分组A1的部分区域的X坐标没有变化并且Y坐标从一个分组到另一个仅增加1的情况下，部分区域的XY坐标可以从随后发送的分组A1中省略。要注意的是，控制的这一方面将在后面使用具体的示例进行讨论。
利用这种发送方法，在多个区域以彼此水平分离的方式被设置在行中的情况下，并且在对应于多个区域中的每一个的部分区域的区域数据被发送的情况下，多个区域中的每一个的分组A1被单独生成并发送。也就是说，对于其中两个区域被设置为彼此水平分离的每一行，生成并发送两个分组A1。
下面参照图24描述用于发送图像中设置的区域(ROI)的区域数据的分组A1的分组报头的结构示例，重点在于扩展的结构。图24是解释分组报头的一个结构示例的说明图。
如图24所示，在用这种发送方法发送图像中设置的区域(ROI)的区域数据的情况下，指示区域信息发送的信息被设置为报头信息类型(即，对应于用于发送区域信息的类型的信息)。此外，通过使用有效载荷，扩展的至少一部分设置有指示区域数据发送的信息(即，部分区域的区域数据)。此外，在有效载荷用于发送区域坐标的情况下(即，部分区域的XY坐标)，至少一部分延伸设置有指示区域坐标发送的信息。应当注意，在发送图像中设置的区域(ROI)的区域数据的情况下，分组A1的有效载荷长度可以根据区域的水平宽度而变化。由于这个原因，如上面参考图22解释的示例，扩展的一部分可以设置有指示有效载荷长度的信息。,
<2.结论>
当体现本公开的通信系统1000如上所述被配置和操作时，通信系统1000能够同时抑制运动模糊的产生、饱和区域的产生和信噪比降低的产生。通过同时抑制运动模糊的产生、饱和区域的产生和信噪比降低的产生，体现本公开的通信系统1000可以在高动态范围内拍摄并产生高灵敏度的高质量运动图像。
因为体现本公开的通信系统1000同时抑制运动模糊的产生、饱和区域的产生和信噪比降低的产生，所以通信系统1000能够选择性地仅针对感兴趣缩短曝光时间，以便以高帧速率执行输出，同时保持输出数据速率恒定。
因为体现本公开的通信系统1000同时抑制运动模糊的产生、饱和区域的产生和信噪比降低的产生，所以通信系统1000能够选择性地仅缩短感兴趣区域的曝光时间，从而在执行输出的同时将帧速率提高反映缩短的曝光时间的量。因此，即使图像传感器中图像的给定帧的曝光时间缩短，使得帧图像在评估时可能达不到灵敏度，帧速率也增加了反映缩短的曝光时间的量，这增加了曝光帧的数量。这使得可以通过信号处理以与曝光时间没有缩短的情况下大致相同的灵敏度获得从图像传感器输出的图像。
例如，即使对于传统方法，在1/30秒的曝光时间灵敏度不足，并且在1/480秒的曝光时间灵敏度不足，本实施例也允许在1/30秒的时间内获取16个图像，每个图像是在1/480秒的曝光时间获得的。因此，通过简单地将16个图像(每个图像以1/480秒的曝光时间获得)相加，该实施例能够容易地再现过去以1/30秒的曝光时间获得的图像。
此外，体现本公开的通信系统1000能够使用相对较少数量的多个图像进行信号处理，具有相对较小的运动模糊和相对有限的运动偏差(即，使用16个图像，每个图像在上述示例中以1/480秒的曝光时间获得)。由于移动物体随着时间在空间中移动(即，在图像内)，简单地将16幅图像相加将再现原始运动模糊。另一方面，在以1/480秒的曝光时间获取图像的情况下，除了以1/480秒的相对短的曝光时间获得每个图像的事实之外，两帧之间的时间差是1/480秒的相对短的时间。因此，移动对象在两个连续帧之间的移动量相对较小。这允许体现本公开的通信系统1000在累加所涉及的图像之前容易地对每个移动对象执行运动补偿。通信系统1000因此能够同时处理灵敏度不足和运动模糊。
例如，利用传统方法，即使在曝光时间为1/30秒的近似曝光的情况下，也可能出现部分饱和区域。相比之下，对于本实施例，可以在1/30秒的时间内获得16个图像，每个图像以1/480秒的曝光时间拍摄。当将如此获得的16个图像相加时，体现本公开的通信系统1000保持足够的灰度而不引起饱和状态，从而将曝光时间为1/30秒的获取的图像容易地转变成不具有饱和的高动态范围图像。
下面解释体现本公开的通信系统1000的一些有利效果。
假设将图像传感器100的所有像素的数据传送到位于下游的处理器200所需的时间是一帧时间。基于这一假设，在1/n的1帧时间内(n是至少为2的任意整数)曝光ROI区域。因此，对于每个图像，信号量是1/n倍，散粒噪声是1/(n)1/2倍，恶化了信噪比。然而，在随后的阶段中，多达n个图像相加，使得信号量为1/n×n＝1倍，散粒噪声为((1/(n)1/2)2×n)1/2＝1倍。因此，体现本公开的通信系统1000能够在不降低信噪比的情况下获取添加的图像。
另一方面，以1/n倍于1帧时间周期的曝光来获取在1帧时间曝光之后的图像中传统上已经饱和的区域。体现本公开的通信系统1000因此能够在不饱和的情况下获取亮度高达n倍的对象。
体现本公开的通信系统1000进一步提供了将运动对象的模糊量减少到1/n的有利效果。
此外，通过不执行上述在被检测为运动的区域中添加n个图像的处理，体现本公开的通信系统1000能够在不恶化其信噪比的情况下获取非运动物体，同时将检测到的移动物体的模糊量减少到1/n。
此外，体现本公开的通信系统1000在执行运动补偿的同时，对移动对象部分执行添加处理，从而在保持移动对象的模糊量减少到1/n的同时，不仅获取非运动对象，还获取移动对象部分，而不会恶化信噪比。
尽管上面已经参照附图详细描述了本公开的优选实施例，但是该实施例并不限制本公开的技术范围。显然，本领域的技术人员将很容易想到在所附权利要求中陈述的技术思想的范围内的本公开的变化或替代。应当理解，这种变化、替代方案和其他分支也落入本公开的技术范围内。
在本说明书中陈述的有利效果仅仅是为了说明的目的，而不是对本公开的限制。也就是说，除了上述有利效果之外或代替上述有利效果，本公开的技术可以提供根据上述描述对本领域技术人员来说显而易见的其他有利效果。
例如，构成ROI处理所需的、且在图7和10中示出的图像传感器100和处理器200的电路的部分或全部组成元件且可以被包括在图像传感器100或处理器200中。此外，构成图7和图10所示的图像传感器100和处理器200的电路的部分或全部组成元件也可以配置成硬件或软件。在被包括在图像传感器100中时，图像传感器100和处理器200可以被配置为模块化形式。
作为另一个示例，尽管配置为如图10所示的处理器200单独输出ROI图像和正常图像，这并不限制本公开。或者，处理器200可以在同一输出中提供ROI图像和正常图像。
应当注意，以下配置也落入本公开的技术范围内。
(1)一种接收装置，包括：
接收部分，被配置为至少以用于接收整个拍摄区域的图像数据的第一模式或用于仅接收所述拍摄区域中的部分区域的图像数据的第二模式来接收所述图像数据；和
信息处理部分，被配置为基于由所述接收部分接收的所述图像数据来生成图像，
其中，在以第二模式接收图像数据时，所述信息处理部分接收添加有与第一模式的参数不同的参数的图像数据。
(2)根据上述段落(1)所述的接收装置，其中，以反映所述图像数据的曝光时间的方式，所述信息处理部分通过合成以所述第二模式接收到的所述图像数据的多个图像来生成所述图像。
(3)根据上述段落(2)所述的接收装置，其中，根据在所述第二模式下数据接收时的区域大小来确定所述曝光时间。
(4)根据上述段落(2)所述的接收装置，其中，所述信息处理部分基于关于继续所述第二模式的帧数的信息来确定合成在所述第二模式下接收的所述图像数据的图像数，所述信息包括在参数中。
(5)根据上述段落(1)至(4)任一项所述的接收装置，其中，所述第二模式中的所述区域的大小由所述第二模式中的曝光时间和所述第一模式中的曝光时间确定。
(6)根据上述段落(1)至(5)任一项所述的接收装置，其中，所述信息处理部分将关于所述第二模式下的区域的大小的信息输出到成像装置。
(7)根据上述段落(1)至(6)任一项所述的接收装置，其中，当在紧接着基于所述第二模式的读出的帧中以所述第一模式生成所述图像时，所述信息处理部分使用以所述第二模式读出的区域和除所述区域之外的任何其他区域。
(8)根据上述段落(1)至(7)任一项所述的接收装置，其中，所述接收部分接收发送信号，在所述发送信号中，分组的有效载荷部分包括所述图像数据，并且在所述发送信号中，预定报头部分包括所述参数。
(9)根据上述段落(8)所述的接收装置，其中，所述信息处理部分从包括在由所述接收部分接收的所述发送信号中的所述报头部分提取关于所述区域的区域信息，所述信息处理部分还基于所提取的所述区域信息，从包括在由所述接收部分接收的所述发送信号中的所述有效载荷部分提取所述区域的所述图像数据。
(10)根据上述段落(9)所述的接收装置，其中，所述区域信息包括指示所述区域的大小的信息和指示在所述区域中发送的所述图像的帧数的信息。
(11)根据上述段落(9)所述的接收装置，其中所述接收部分根据MIPI(移动行业处理器接口)CSI(照相机串行接口)-2标准、MIPI CSI-3标准或MIPI DSI(显示器串行接口)标准接收所述信号。
(12)一种发送装置，包括：
图像处理部分，被配置为至少在用于读出整个拍摄区域的第一模式下或者在用于读出所述拍摄区域中的部分区域的第二模式下读出图像数据；和
发送部分，被配置为在发送所述图像数据之前，将由所述图像处理部分读出的所述图像数据存储为符合预定格式的发送信号，
其中，所述图像处理部分改变在以所述第二模式读出所述图像的速率。
(13)根据上述段落(12)所述的发送装置，其中，所述图像处理部分根据以所述第二模式读出时的帧速率确定区域的大小。
(14)根据上述段落(12)所述的发送装置，其中，所述图像处理部分根据以所述第二模式读出时的区域大小确定帧速率。
(15)根据上述段落(12)所述的发送装置，其中，所述图像处理部分基于所述第二模式中的所述区域的大小和所述第一模式中的曝光时间来确定所述第二模式中的曝光时间。
(16)根据上述段落(12)所述的发送装置，其中，所述图像处理部分基于所述第二模式中的所述曝光时间和所述第一模式中的所述曝光时间来确定所述第二模式中的所述区域的大小。
(17)根据上述段落(12)至(16)中任一项所述的发送装置，其中，所述发送信号包括存储所述图像数据的分组的有效载荷部分和包括关于所述图像数据的信息的预定报头部分。
(18)根据上述段落(17)所述的发送装置，其中，所述报头部分包括关于所述区域的区域信息。
(19)根据上述段落(18)所述的发送装置，其中，所述区域信息包括指示所述区域的大小的信息和指示在所述区域中发送的所述图像的帧数的信息。
(20)根据上述段落(12)至(19)中任一项所述的发送装置，其中，所述发送部分根据MIPI-2标准、MIPI CSI-3标准或MIPI DSI标准发送所述信号。
参考符号列表
100：图像传感器
200：处理器
1000：通信系统。

Claims (20)

1.一种接收装置，包括：
接收部分，被配置为接收数据；和
信息处理部分，被配置为基于从所述接收部分输出的图像数据生成图像，
其中，所述接收部分以第一模式输出整个拍摄区域作为所述图像数据，所述接收部分以第二模式输出所述拍摄区域中的部分区域作为所述图像数据，所述接收部分基于所述图像数据中包括的附加信息选择所述第一模式或所述第二模式。
2.根据权利要求1所述的接收装置，其中，所述信息处理部分通过合成以所述第二模式接收的多个所述图像数据来生成所述图像。
3.根据权利要求1所述的接收装置，进一步包括：
发送部分，被配置为向成像装置发送区域信息数据，
其中，所述信息处理部分基于以所述第一模式生成的所述图像，通过确定所述拍摄区域中要获取的所述部分区域来生成所述区域信息数据。
4.根据权利要求2所述的接收装置，其中，所述信息处理部分确定合成以所述第二模式接收的所述图像数据的数量。
5.根据权利要求3所述的接收装置，其中，所述第二模式中的所述区域的大小由所述第二模式中的曝光时间和所述第一模式中的曝光时间确定。
6.根据权利要求3所述的接收装置，其中，所述信息处理部分生成表示所述第二模式中的所述区域的坐标和大小的信息作为所述区域信息数据，所述信息处理部分还将生成的信息提供给所述接收部分。
7.根据权利要求1所述的接收装置，其中，当在紧接着基于所述第二模式的读出的帧中以所述第一模式生成所述图像时，所述信息处理部分使用以所述第二模式读出的区域和除所述区域之外的任何其他区域来生成图像。
8.根据权利要求1所述的接收装置，其中，所述接收部分接收发送信号，在所述发送信号中，分组的有效载荷部分包括所述图像数据，并且在所述发送信号中，预定报头部分包括所述附加信息。
9.根据权利要求8所述的接收装置，其中，所述信息处理部分从包括在由所述接收部分接收的所述发送信号中的所述报头部分提取关于所述区域的区域信息，所述信息处理部分还基于所提取的所述区域信息，从包括在由所述接收部分接收的所述发送信号中的所述有效载荷部分提取所述区域的所述图像数据。
10.根据权利要求9所述的接收装置，其中，所述区域信息包括指示所述区域的大小的信息和指示在所述区域中传输的所述图像的帧数的信息。
11.根据权利要求8所述的接收装置，其中，所述接收部分根据MIPI(移动行业处理器接口)CSI(照相机串行接口)-2标准、MIPICSI-3标准或MIPIDSI(显示器串行接口)标准接收所述信号。
12.一种发送装置，包括：
图像处理部分，被配置为至少以用于读出整个拍摄区域的第一模式或者以用于读出所述拍摄区域中的部分区域的第二模式读出图像数据；和
发送部分，被配置为在传输所述图像数据之前，将由所述图像处理部分读出的所述图像数据存储为符合预定格式的传输信号，
其中，所述图像处理部分改变在以所述第二模式读出所述图像的速率。
13.根据权利要求12所述的发送装置，其中，所述图像处理部分根据以所述第二模式读出时的帧速率来确定所述区域的大小。
14.根据权利要求12所述的发送装置，其中，所述图像处理部分根据以所述第二模式读出时的区域大小确定帧速率。
15.根据权利要求12所述的发送装置，其中，所述图像处理部分基于所述第二模式中的所述区域的大小和所述第一模式中的曝光时间来确定所述第二模式中的曝光时间。
16.根据权利要求12所述的发送装置，其中，所述图像处理部分基于所述第二模式中的曝光时间和所述第一模式中的曝光时间来确定所述第二模式中的所述区域的大小。
17.根据权利要求12所述的发送装置，其中，所述传输信号包括存储所述图像数据的分组的有效载荷部分和包括关于所述图像数据的信息的预定报头部分。
18.根据权利要求17所述的发送装置，其中，所述报头部分包括关于所述区域的区域信息。
19.根据权利要求18所述的发送装置，其中，所述区域信息包括指示所述区域的大小的信息和指示在所述区域中传输的所述图像的帧数的信息。
20.根据权利要求12所述的发送装置，其中，所述发送部分根据MIPI-2标准、MIPICSI-3标准或MIPIDSI标准传输所述信号。
CN201980078838.3A 2018-12-06 2019-11-22 接收装置和发送装置 Active CN113170044B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018229200 2018-12-06
JP2018-229200 2018-12-06
PCT/JP2019/045883 WO2020116213A1 (ja) 2018-12-06 2019-11-22 受信装置および送信装置

Publications (2)

Publication Number Publication Date
CN113170044A true CN113170044A (zh) 2021-07-23
CN113170044B CN113170044B (zh) 2023-10-24

Family

ID=70974925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980078838.3A Active CN113170044B (zh) 2018-12-06 2019-11-22 接收装置和发送装置

Country Status (6)

Country Link
US (2) US11606500B2 (zh)
EP (1) EP3893485A4 (zh)
JP (1) JP7414733B2 (zh)
KR (1) KR20210096090A (zh)
CN (1) CN113170044B (zh)
WO (1) WO2020116213A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118574000A (zh) * 2024-07-04 2024-08-30 荣耀终端有限公司 一种控制相机显示预览图像方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040095477A1 (en) * 2002-08-09 2004-05-20 Takashi Maki ROI setting method and apparatus, electronic camera apparatus, program, and recording medium
US20090021621A1 (en) * 2007-07-20 2009-01-22 Canon Kabushiki Kaisha Image sensing apparatus and image capturing system
US20110298961A1 (en) * 2009-02-27 2011-12-08 Akihiro Yoshida Imaging apparatus, image display apparatus, imaging method, method of displaying image and method of correcting position of focusing-area frame
US20150023429A1 (en) * 2013-07-17 2015-01-22 Samsung Electronics Co., Ltd. Electronic device for storing image and image storage method thereof
CN105391936A (zh) * 2014-09-02 2016-03-09 佳能株式会社 摄像设备及其控制方法和图像传感器
CN105391921A (zh) * 2014-09-02 2016-03-09 佳能株式会社 摄像装置、摄像装置的控制方法及图像传感器

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4896208A (en) * 1986-12-02 1990-01-23 Minolta Camera Kabushiki Kaisha Apparatus and method for reading and digitally editing multiple images
JP3621256B2 (ja) 1998-05-14 2005-02-16 株式会社東芝 動き劣化補正処理装置及びその方法
JP4491965B2 (ja) 1999-12-28 2010-06-30 ソニー株式会社 信号処理装置および方法、並びに記録媒体
JP4106874B2 (ja) 2001-02-05 2008-06-25 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP2006109001A (ja) * 2004-10-04 2006-04-20 Toshiba Teli Corp 撮像装置及び画像データ伝送処理装置及び画像データ受信装置
JP4888081B2 (ja) 2006-01-23 2012-02-29 セイコーエプソン株式会社 撮像装置、撮像方法、撮像システム及び画像処理装置
JP4740781B2 (ja) * 2006-03-30 2011-08-03 富士フイルム株式会社 固体撮像装置
JP4715853B2 (ja) 2008-02-12 2011-07-06 ソニー株式会社 固体撮像装置および撮像方法
JP2012034099A (ja) 2010-07-29 2012-02-16 Sanyo Electric Co Ltd データ送信装置
US8970750B2 (en) 2010-11-12 2015-03-03 Sony Corporation Image outputting apparatus, image outputting method, image processing apparatus, image processing method, program, data structure and imaging apparatus
KR101720774B1 (ko) * 2010-11-24 2017-03-28 삼성전자주식회사 디지털 촬영 장치 및 그의 사진 제공 방법
JP5979849B2 (ja) * 2011-11-21 2016-08-31 キヤノン株式会社 撮像素子及び撮像装置
JP5932376B2 (ja) 2012-02-08 2016-06-08 富士機械製造株式会社 画像転送方法および画像転送装置
WO2014138695A1 (en) * 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
JP2015091005A (ja) 2013-11-05 2015-05-11 オリンパス株式会社 撮像装置
KR20150088139A (ko) 2014-01-23 2015-07-31 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 시스템
JP6558976B2 (ja) 2014-09-02 2019-08-14 キヤノン株式会社 撮像装置、その制御方法及びプログラム並びに撮像素子
JP6774233B2 (ja) * 2016-06-21 2020-10-21 キヤノン株式会社 焦点検出装置、制御方法およびプログラム
JP6936018B2 (ja) 2017-02-21 2021-09-15 ソニーセミコンダクタソリューションズ株式会社 映像送信装置および映像受信装置
EP3637784A4 (en) * 2017-06-09 2020-04-22 Sony Semiconductor Solutions Corporation VIDEO TRANSMISSION DEVICE AND VIDEO RECEPTION DEVICE
US11039092B2 (en) * 2017-11-15 2021-06-15 Nvidia Corporation Sparse scanout for image sensors
JP6917298B2 (ja) 2017-12-27 2021-08-11 大和化成工業株式会社 クリップ
US10867393B2 (en) * 2018-03-22 2020-12-15 Texas Instruments Incorporated Video object detection
JP7404640B2 (ja) * 2019-04-03 2023-12-26 沖電気工業株式会社 符号化装置、復号装置及び画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040095477A1 (en) * 2002-08-09 2004-05-20 Takashi Maki ROI setting method and apparatus, electronic camera apparatus, program, and recording medium
US20090021621A1 (en) * 2007-07-20 2009-01-22 Canon Kabushiki Kaisha Image sensing apparatus and image capturing system
US20110298961A1 (en) * 2009-02-27 2011-12-08 Akihiro Yoshida Imaging apparatus, image display apparatus, imaging method, method of displaying image and method of correcting position of focusing-area frame
US20150023429A1 (en) * 2013-07-17 2015-01-22 Samsung Electronics Co., Ltd. Electronic device for storing image and image storage method thereof
CN105391936A (zh) * 2014-09-02 2016-03-09 佳能株式会社 摄像设备及其控制方法和图像传感器
CN105391921A (zh) * 2014-09-02 2016-03-09 佳能株式会社 摄像装置、摄像装置的控制方法及图像传感器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118574000A (zh) * 2024-07-04 2024-08-30 荣耀终端有限公司 一种控制相机显示预览图像方法及电子设备

Also Published As

Publication number Publication date
US11924546B2 (en) 2024-03-05
JP7414733B2 (ja) 2024-01-16
US20220006954A1 (en) 2022-01-06
TW202101958A (zh) 2021-01-01
EP3893485A1 (en) 2021-10-13
CN113170044B (zh) 2023-10-24
US20230239570A1 (en) 2023-07-27
JPWO2020116213A1 (ja) 2021-10-21
WO2020116213A1 (ja) 2020-06-11
KR20210096090A (ko) 2021-08-04
US11606500B2 (en) 2023-03-14
EP3893485A4 (en) 2021-12-29

Similar Documents

Publication Publication Date Title
US11074023B2 (en) Transmission device
US20130033618A1 (en) Image processing apparatus detecting quadrilateral region from picked-up image
WO2019092952A1 (ja) 送信装置
US8149285B2 (en) Video camera which executes a first process and a second process on image data
KR20210046654A (ko) 화상 처리 장치 및 화상 처리 시스템
US8218021B2 (en) Image capture apparatus, method of controlling the same, and program
US11924546B2 (en) Reception apparatus and transmission apparatus
CN118214933A (zh) 图像处理方法、混合式图像传感器、电子设备及存储介质
TWI856991B (zh) 接收裝置及傳送裝置
JP7152475B2 (ja) 送信装置、受信装置、及び通信システム
JP7504803B2 (ja) 画像処理装置及び画像処理方法
JP2017017562A (ja) 固体撮像装置およびデータ受信装置
KR100902420B1 (ko) 캡쳐 영상을 시간 지연 없이 표시할 수 있는 영상 처리장치, 방법 및 상기 방법을 프로그램화하여 수록한컴퓨터로 읽을 수 있는 기록매체
CN115514865A (zh) 摄像装置、图像处理系统和摄像装置的控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant