CN114009006A - 传输装置、接收装置和传输系统 - Google Patents

传输装置、接收装置和传输系统 Download PDF

Info

Publication number
CN114009006A
CN114009006A CN202080045599.4A CN202080045599A CN114009006A CN 114009006 A CN114009006 A CN 114009006A CN 202080045599 A CN202080045599 A CN 202080045599A CN 114009006 A CN114009006 A CN 114009006A
Authority
CN
China
Prior art keywords
roi
information
section
region
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080045599.4A
Other languages
English (en)
Inventor
松原义明
染谷英行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN114009006A publication Critical patent/CN114009006A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明目的是实现对从捕捉图像分割的部分感兴趣区域(ROI)的去马赛克处理。一种传输装置，配备有：控制部，控制获取用于对ROI的图像数据进行去马赛克处理的去马赛克信息；传输部，将ROI的图像数据作为有效载荷数据发送，并将ROI信息作为嵌入数据发送。

Description

传输装置、接收装置和传输系统
技术领域
本公开涉及一种传输装置、一种接收装置和一种传输系统。
背景技术
近年来，大量传输大量数据的应用越来越多。这种应用往往会给传输系统带来很大的负载，可能会导致传输系统在最坏的情况下瘫痪，无法进行数据传输。
为了避免传输系统关闭，在本领域中已知的是，将对象指定为成像目标，并且仅传输指定对象的已被分割的部分图像，而不是传输整个捕捉图像(例如，参见专利文献1到专利文献4)。
[现有技术文献]
[专利文献]
[专利文献1]
日本专利公开号2016-201756
[专利文献2]
日本专利公开号2014-39219
[专利文献3]
日本专利公开号2013-164834
[专利文献4]
日本专利公开号2012-209831。
发明内容
[技术问题]
然而，在传输从捕捉图像分割的部分ROI(感兴趣区域)的情况下，还没有检查去马赛克处理。
本公开的目的是实现对从捕捉图像分割的部分ROI(感兴趣区域)的去马赛克处理。
[问题的解决方案]
根据本公开的一个方面的传输装置包括：控制部，控制获取用于对ROI(感兴趣区域)的图像数据进行去马赛克的去马赛克处理使用的去马赛克信息；以及传输部，将ROI的图像数据作为有效载荷数据发送出去，并将ROI信息作为嵌入数据发送出去。
根据本公开的一个方面的接收装置包括：接收部，接收传输信号，该传输信号在有效载荷数据中包含ROI(感兴趣区域)的图像数据，并且在嵌入数据中包含ROI信息；控制部，控制从接收部接收的传输信号中提取用于对ROI的图像数据进行去马赛克的去马赛克处理的去马赛克信息；以及处理部，使用由控制部提取的去马赛克信息执行用于对ROI的图像数据进行去马赛克的去马赛克处理。
根据本公开的一个方面的传输系统，包括：传输装置，具有：控制部，控制获取用于对ROI(感兴趣区域)的图像数据进行去马赛克的去马赛克处理使用的去马赛克信息；以及传输部，将ROI的图像数据作为有效载荷数据发送，并将ROI信息作为嵌入数据发送；以及接收装置，具有：接收部，接收传输信号，该传输信号在有效载荷数据中包含ROI的图像数据，并且在嵌入数据中包含ROI信息；控制部，控制从由接收部接收的传输信号中提取用于对ROI的图像数据进行去马赛克的去马赛克处理的去马赛克信息；以及处理部，使用由控制部提取的去马赛克信息执行用于对ROI的图像数据进行去马赛克的去马赛克处理。
附图说明
图1是示出视频传输系统的一般配置示例的示图；
图2是示出图1所示的视频传输装置的一般配置示例的示图；
图3是示出当在捕捉图像中包括两个感兴趣区域ROI时用于生成传输数据的过程的示例的示图；
图4是示出分组报头的配置示例的示图；
图5是示出传输数据的配置示例的示图；
图6是示出传输数据的配置示例的示图；
图7是示出长分组的有效载荷数据的配置示例的示图；
图8是示出图1所示的视频接收装置的一般配置示例的示图；
图9是示出当两个图像包括在传输数据中时用于生成包括在捕捉图像中的两个ROI图像的过程的示例的示图；
图10是示意性示出放置在捕捉图像中指定的对象的区域的示图；
图11是示出相对于指定对象建立的ROI的示例的示图；
图12是示出传输数据的配置示例的示图，其中，ROI图像的位置信息包含在长分组的有效载荷数据中；
图13是示意性示出设置在图像捕捉部的图像捕捉区域中的图像捕捉元件的彩色阵列的示例的示图；
图14A是示意性示出设置在图像捕捉部的图像捕捉区域中的图像捕捉元件的彩色阵列的阵列示例A的示图；
图14B是示出从图14A所示的图像捕捉区域分割的图像捕捉元件的彩色阵列的阵列图案的示图；
图15A是示意性示出设置在图像捕捉部的图像捕捉区域中的图像捕捉元件的彩色阵列的阵列示例B的示图；
图15B是示出从图15A所示的图像捕捉区域分割的图像捕捉元件的彩色阵列的阵列图案的示图；
图16A是示意性示出设置在图像捕捉部的图像捕捉区域中的图像捕捉元件的彩色阵列的阵列示例C的示图；
图16B是示出从图16A所示的图像捕捉区域分割的图像捕捉元件的彩色阵列的阵列图案的示图；
图17A是示意性示出设置在图像捕捉部的图像捕捉区域中的图像捕捉元件的彩色阵列的阵列示例D的示图；
图17B是示出从图17A所示的图像捕捉区域分割的图像捕捉元件的彩色阵列的阵列图案的示图；
图18是示意性示出去马赛克处理的示图；
图19是示出根据第一实施例的传输装置、接收装置和传输系统的总体构成的框图；
图20是示出根据第一实施例的传输装置、接收装置和传输系统中的去马赛克处理的序列的流程图；
图21是示出根据第一实施例的传输装置、接收装置和传输系统中的去马赛克处理的时序图的示例的示图；
图22是示出根据第一实施例的修改的传输装置、接收装置和传输系统的总体构成的框图；
图23是示出根据第二实施例的传输装置、接收装置和传输系统中的去马赛克处理的序列的流程图；
图24是示出根据第二实施例的传输装置、接收装置和传输系统中的去马赛克处理的时序图的示例的示图。
具体实施方式
下面将参照附图详细描述实施本公开的模式。下面给出的描述适用于本公开的具体示例，并且本公开不限于下面示出的方面。
下文将按照以下顺序描述用于实施根据本公开的技术的模式(以下称为“实施例”)：
1.为本公开预先假定的技术1(用于传输从捕捉图像分割的部分感兴趣区域(ROI)(矩形)的技术)
2.为本公开预先假定的技术2(用于传输从捕捉图像分割的部分感兴趣区域(ROI)(非矩形)的技术)
3.在本公开的实施例中的去马赛克处理的原理
4.根据本公开第一实施例的传输装置、接收装置和传输系统
5.根据第一实施例的修改的传输装置、接收装置和传输系统
6.根据本公开第二实施例的传输装置、接收装置和传输系统
1.为本公开预先假定的技术1：
[配置]
近年来，诸如智能手机和相机设备之类的便携式设备一直在处理越来越多的图像数据，并且需要加速和消耗更少的电力来在其自身内部或不同设备之间传输数据。为了满足这些要求，目前正在对高速接口标准进行标准化，例如，MIPI联盟建立的C-PHY标准和D-PHY标准，作为便携式设备和相机设备的连接接口。C-PHY标准和D-PHY标准是通信协议物理层(PHY)的接口标准。此外，便携式设备显示器的DSI和相机设备的CSI是作为比C-PHY标准和D-PHY标准更高的协议层出现的。
根据本公开预先假定的技术的视频传输系统1包括用于根据各种标准发送和接收信号的系统，并且可以例如根据MIPI CSI-2标准、MIPI CSI-3标准或MIPI DSI标准发送和接收信号。图1示出了根据本公开预先假定的技术的视频传输系统1的一般配置。视频传输系统1应用于数据信号、时钟信号和控制信号的传输，并且包括视频传输装置100和视频接收装置200。视频传输系统1包括用于传输表示图像数据等的数据信号的数据通道DL、用于传输时钟信号的时钟通道C1以及用于在例如视频传输装置100和视频接收装置200之间传输控制信号的相机控制接口CCI。尽管图1示出了提供一个数据通道DL的示例，但是可以提供多个数据通道DL。CCI相机控制接口包括与I2C(集成电路间)标准兼容的双向控制接口。
视频传输装置100包括用于根据MIPI CSI-2标准、MIPI CSI-3标准或MIPI DSI标准发送信号的装置。视频传输装置100具有CSI发射机100A和CCI从设备100B。视频接收装置200具有CSI接收机200A和CCI主设备200B。在时钟通道C1中，CSI发射机100A和CSI接收机200A通过时钟信号线彼此连接。在数据通道DL中，CSI发射机100A和CSI接收机200A通过时钟信号线彼此连接。在相机控制接口CCI中，CCI从设备100B和CCI主设备200B通过控制信号线彼此连接。
例如，CSI发射机100A包括差分信号传输电路，用于生成差分时钟信号，作为时钟信号，并将生成的差分时钟信号输出到时钟信号线。CSI发射机100A可以不必传输差分信号，而是可以传输单端或三相信号。例如，CSI发射机100A还包括差分信号发射电路，用于生成差分数据信号，作为数据信号，并将生成的差分数据信号输出到数据信号线。CSI接收机200A包括差分信号接收电路，用于接收差分时钟信号，作为时钟信号，并对接收的差分时钟信号执行预定的处理过程。CSI接收机200A还包括差分信号接收电路，用于接收差分数据信号，作为数据信号，并对接收的差分数据信号执行预定的处理过程。
(视频传输装置100)
图2示出了视频传输装置100的配置示例。视频传输装置100对应于CSI发射机100A的特定示例。例如，视频传输装置100包括图像捕捉部110、图像处理部120和130以及传输部140。视频传输装置100通过数据线DL向视频接收装置200传输通过对由图像捕捉部110获得的捕捉图像111执行预定处理而生成的传输数据147A。图3示出了用于生成传输数据147A的过程的示例。
例如，图像捕捉部110将通过光学透镜获得的光学图像转换成图像数据。图像捕捉部110包括CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器。图像捕捉部110具有将模拟图像数据转换成数字图像数据的模数转换电路。转换后的图像数据可以是表示具有亮度分量Y和色差分量Cb和Cr的像素的颜色的YCbCr数据格式，或者可以是RGB数据格式。图像捕捉部110将通过图像捕捉获得的捕捉图像111(数字图像数据)输出到图像处理部120。
图像处理部120包括用于对从图像捕捉部110输入的捕捉图像111执行预定处理的电路。根据预先假定的技术1，在通过相机控制接口CCI从视频接收装置200输入指示图像处理部120分割ROI的控制信号的情况下，图像处理部120对从图像捕捉部110输入的捕捉图像111执行预定的处理过程。然而，预先假定的技术1也适用于视频传输装置100(即，传输侧)给出关于分割ROI的坐标的指令的情况。在这种情况下，例如，传输侧接收从接收侧发送的表示要由ROI获取的“人”或“物体”的信息，并且做出决定并给出关于分割坐标的指令。因此，视频接收装置200生成各种数据(120A、120B和120C)，并将其输出到传输部140。图像处理部130包括用于对从图像捕捉部110输入的捕捉图像111执行预定处理的电路。在指示图像处理部130输出正常图像的控制信号通过相机控制接口CCI从视频接收装置200输入的情况下，图像处理部130对从图像捕捉部110输入的捕捉图像111执行预定的处理过程。图像处理部130因此生成图像数据130A，并将其输出到传输部140。
例如，图像处理部130具有编码部131。编码部131对捕捉图像111进行编码，以生成压缩图像数据130A。图像处理部130以符合例如JPEG(联合图像专家组)标准的压缩格式作为压缩图像数据130A的格式，压缩捕捉图像111。
例如，图像处理部120具有ROI分割部121、ROI分析部122、重叠检测部123、优先级设置部124、编码部125和图像处理控制部126。
ROI分割部121将一个或多个图像指定为包括在从图像捕捉部110输入的捕捉图像111中的一个或多个成像目标，并且为每个指定对象建立感兴趣区域ROI。例如，感兴趣区域ROI是指包括指定对象的方形区域。ROI分割部121从捕捉图像111中指定每个感兴趣区域ROI的图像(例如，图3中的ROI图像112)。ROI分割部121还将区域编号作为标识符分配给每个建立的感兴趣区域ROI。例如，在ROI分割部121已经在捕捉图像111中建立了两个感兴趣区域ROI的情况下，ROI分割部121将区域编号1分配给一个感兴趣区域ROI(例如，图3中的ROI1)，并将区域编号2分配给另一感兴趣区域ROI(例如，图3中的ROI2)。ROI分割部121例如将分配的标识符(区域编号)存储在存储部中。例如，ROI分割部121将从捕捉图像111分割的每个ROI图像112存储在存储部中。此外，例如，ROI分割部121将分配给每个感兴趣区域ROI的标识符(区域编号)与ROI图像112相关联地存储在存储部中。
ROI分析部122导出捕捉图像111中每个感兴趣区域ROI的位置信息113。位置信息113包括例如感兴趣区域ROI的左上端坐标(Xa，Ya)、感兴趣区域ROI在X轴方向上的长度以及感兴趣区域ROI在Y轴方向上的长度。感兴趣区域ROI在X轴方向上的长度例如是指感兴趣区域ROI在X轴方向上的物理区域长度XLa。感兴趣区域ROI在Y轴方向上的长度例如是指感兴趣区域ROI在Y轴方向上的物理区域长度YLa。物理区域长度表示感兴趣区域ROI的物理长度，即数据长度。位置信息113可以包括与感兴趣区域ROI的左上端不同的位置的坐标。例如，ROI分析部122将导出的位置信息存储在存储部中。ROI分析部122将导出的位置信息与分配给感兴趣区域ROI的标识符(即区域编号)相关联地存储在存储部中。
例如，ROI分析部122还可以导出感兴趣区域ROI在X轴方向上的输出区域长度XLc和感兴趣区域ROI在Y轴方向上的输出区域长度YLc，作为每个感兴趣区域ROI的位置信息113。例如，输出区域长度表示在感兴趣区域ROI的分辨率已经通过抽取过程或增加像素而改变之后，感兴趣区域ROI的物理长度，即数据长度。ROI分析部122可以导出例如每个感兴趣区域ROI的位置信息113、感测信息、曝光信息、增益信息、AD(模数)字长、图像格式等，并将其存储在存储部中。
感测信息是指关于感兴趣区域ROI中包括的对象的计算内容以及ROI图像112上的后续信号处理过程的额外信息。曝光信息是指感兴趣区域ROI的曝光时间。增益信息是指感兴趣区域ROI的增益信息。AD字长是指感兴趣区域ROI中AD转换的每像素数据的字长。图像格式是指感兴趣区域ROI的图像格式。ROI分析部122可以例如导出捕捉图像111中包括的感兴趣区域ROI的数量(ROI的数量)，并将ROI的数量存储在存储部中。
当多个对象被指定为捕捉图像111中的成像目标时，重叠检测部123基于捕捉图像111中的多个感兴趣区域ROI的位置信息113来检测两个或更多个感兴趣区域ROI彼此重叠的重叠区域(ROO(重叠区域))。具体地，重叠检测部123导出捕捉图像111中的每个重叠区域ROO的位置信息114。重叠检测部123例如将导出的位置信息114存储在存储部中。例如，重叠检测部123将导出的位置信息114存储在与重叠区域ROO相对应的存储部中。重叠区域ROO是指与两个或多个彼此重叠的感兴趣区域ROI中的最小感兴趣区域ROI在尺寸上相同或更小的方形区域。位置信息114包括例如重叠区域ROO的左上端坐标(Xb，Yb)、重叠区域ROO在X轴方向上的长度以及重叠区域ROO在Y轴方向上的长度。重叠区域ROO在X轴方向上的长度例如是指物理区域长度XLb。重叠区域ROO在Y轴方向上的长度例如是指物理区域长度YLb。位置信息114可以包括与感兴趣区域ROI的左上端不同的位置的坐标。
优先级设置部124为捕捉图像111中的每个感兴趣区域ROI分配优先级115。例如，优先级设置部124将分配的优先级115存储在存储部中。例如，优先级设置部124将分配的优先级115存储在与感兴趣区域ROI相对应的存储部中。优先级设置部124可以将优先级115与分配给每个感兴趣区域ROI的区域编号分开分配给每个感兴趣区域ROI，或者可以使用分配给每个感兴趣区域ROI的区域编号来代替优先级115。优先级设置部124例如可以将优先级115与感兴趣区域ROI相关联地存储在存储部中，或者可以将分配给每个感兴趣区域ROI的区域编号与感兴趣区域ROI相关联地存储在存储部中。
优先级115是指每个感兴趣区域ROI的标识符，并且表示用于区分已经从捕捉图像111中的多个感兴趣区域ROI中的哪一个消除重叠区域ROO的区分信息。例如，优先级设置部124将“1”作为优先级115分配给两个感兴趣区域ROI中的一个，每个感兴趣区域包括重叠区域ROO，并将“2”作为优先级115分配给另一感兴趣区域ROI。在这种情况下，在生成稍后描述的传输图像116时，相对于优先级115的数值较大的感兴趣区域ROI，消除重叠区域ROO。顺便提及，优先级设置部124可以将与分配给每个感兴趣区域ROI的区域编号相同的编号作为优先级115分配给感兴趣区域ROI。例如，优先级设置部124将分配给每个感兴趣区域ROI的优先级115与ROI图像112相关联地存储在存储部中。
编码部125编码每个传输图像116，以生成压缩图像数据120A。编码部125以符合例如JPEG标准的压缩格式压缩每个传输图像116，作为压缩图像数据120A的格式。在执行上述压缩处理之前，编码部125生成每个传输图像116。为了重叠区域ROO的图像118不会重叠地包括在从捕捉图像111获得的多个ROI图像112中，编码部125生成多个传输图像116，其中，已经从捕捉图像111获得的多个ROI图像112中消除图像118。
例如，编码部125基于分配给每个感兴趣区域ROI的优先级115，确定要从多个ROI图像112中的哪一个中消除图像118。编码部125例如可以通过使用分配给每个感兴趣区域ROI的区域编号，作为优先级115，来确定将从多个ROI图像112中的哪一个中消除图像118。编码部125使用如上所述的已经消除了图像118的ROI图像112，作为传输图像116(例如，图3中的传输图像116a2)。编码部125使用不包括重叠区域ROO的ROI图像112或者如上所述没有消除图像118的ROI图像112，作为传输图像116(例如，图3中的传输图像116a1)。
图像处理控制部126生成ROI信息120B和帧信息120C，并将其传输到传输部140。例如，ROI信息120B包括每个位置信息113。此外，ROI信息120B包括每个感兴趣区域ROI的数据类型、捕捉图像111中包括的感兴趣区域ROI的数量、每个感兴趣区域ROI的区域数量(或优先级115)、每个感兴趣区域ROI的数据长度和每个感兴趣区域ROI的图像格式中的至少一个。例如，帧信息120C包括分配给每个帧的虚拟信道的数量、每个感兴趣区域ROI的数据类型、每行的有效载荷长度等。例如，数据类型包括YUV数据、RGB数据或RAW数据。此外，例如，数据类型包括ROI格式的数据、正常格式的数据等。有效载荷长度表示长分组的有效载荷中包括的像素数量，例如，每个感兴趣区域ROI的像素数量。有效载荷是指在视频传输装置100和视频接收装置200之间传输的主要数据(应用数据)。长分组是指设置在分组报头PH和分组页脚PF之间的分组。
传输部140包括用于基于从图像处理部120和130输入的各种数据(数据120A、120B、120C和130A)生成和发送传输数据147A的电路。传输部140发送关于捕捉图像111中的每个感兴趣区域ROI的ROI信息120B，作为嵌入数据。此外，在经由相机控制接口CCI从视频接收装置200输入指示ROI的分割的控制信号的情况下，传输部140发送每个感兴趣区域ROI的图像数据(压缩图像数据120A)，作为长分组的有效载荷数据。此时，传输部140在公共虚拟信道中发送每个感兴趣区域ROI的图像数据(压缩图像数据120A)。此外，传输部140发送每个感兴趣区域ROI的图像数据(压缩图像数据120A)，作为图像数据帧，并且发送关于每个感兴趣区域ROI的ROI信息120B，作为图像数据帧的报头。此外，在经由相机控制接口CCI从视频接收装置200输入指示正常图像输出的控制信号的情况下，传输部140发送正常图像数据(压缩图像数据130A)，作为长分组的有效载荷数据。
传输部140具有链接控制部141、ECC生成部142、PH生成部143、EBD缓冲器144、ROI数据缓冲器145、正常图像数据缓冲器146和组合部147。在指示ROI分割的控制信号经由相机控制接口CCI从视频接收装置200输入的情况下，链接控制部141、ECC生成部142、PH生成部143、EBD缓冲器144和ROI数据缓冲器145向组合部147输出数据。在指示正常图像输出的控制信号经由相机控制接口CCI从视频接收装置200输入时，正常图像数据缓冲器146向组合部147输出数据。
注意，ROI数据缓冲器145可以兼作正常图像数据缓冲器146。在这种情况下，传输部140可以具有选择器，用于在ROI数据缓冲器145和ROI数据缓冲器145的输出端与组合部147的输入端之间，从ROI数据缓冲器145和ROI数据缓冲器145中的任一个选择输出。
例如，链路控制部141将每行的帧信息120C输出到链路控制部141和ECC生成部142。ECC生成部142例如基于行的数据，例如，虚拟信道的数量、每个感兴趣区域ROI的数据类型、每行的有效载荷长度等，为帧信息120C中的行生成纠错码。例如，ECC生成部142将生成的纠错码输出到PH生成部143。例如，PH生成部143使用帧信息120C和由ECC生成部142生成的纠错码来生成每行的分组报头。此时，如图4所示，例如，分组报头PH包括长分组的有效载荷数据的分组报头。例如，分组报头包括DI、WC和ECC。WC表示用于向视频接收装置200指示具有字数的分组结束的区域。例如，WC包括有效载荷长度，并且例如包括每个感兴趣区域ROI的像素数。ECC表示用于存储校正位错误的值的区域。ECC包括一个纠错码。DI表示用于存储数据标识符的区域。DI包括VC(虚拟通道)的数量和数据类型(每个感兴趣区域ROI的数据类型)。VC(虚拟信道)是指为分组的流控制引入的概念，并且表示用于支持共享一条链路的多个独立数据流的机制。PH生成部143将生成的分组报头PH输出到组合部147。
EBD缓冲器144主要存储ROI信息120B，并将ROI信息120B作为嵌入数据输出到组合部147。嵌入的数据是指可以嵌入到图像数据帧的报头或页脚中的额外信息(见稍后描述的图5)。例如，嵌入数据包括ROI信息120B。
ROI数据缓冲器145主要存储压缩图像数据120A，并且在预定时间将压缩图像数据120A作为长分组的有效载荷数据输出到组合部147。在指示ROI分割的控制信号经由相机控制接口CCI从视频接收装置200输入的情况下，ROI数据缓冲器145将压缩图像数据120A作为长分组的有效载荷数据输出到组合部147。正常图像数据缓冲器146主要存储压缩图像数据130A，并且在预定时间将压缩图像数据130A作为长分组的有效载荷数据输出到组合部147。在经由相机控制接口CCI从视频接收装置200输入指示正常图像输出的控制信号的情况下，正常图像数据缓冲器146将压缩图像数据130A作为长分组的有效载荷数据输出到组合部147。
在经由相机控制接口CCI从视频接收装置200输入指示正常图像输出的控制信号的情况下，组合部147基于输入数据(压缩图像数据130A)生成传输数据147A。组合部147经由数据通道DL将生成的传输数据147A输出到视频接收装置200。另一方面，在经由相机控制接口CCI从视频接收装置200输入指示ROI的分割的控制信号的情况下，组合部147基于各种输入数据(分组报头PH、ROI信息120B和压缩图像数据120A)生成传输数据147A。组合部147经由数据通道DL将生成的传输数据147A输出到视频接收装置200。具体地，组合部147在长分组的有效载荷数据的分组报头中包括数据类型(每个感兴趣区域ROI的数据类型)，并发送该数据。此外，组合部147在公共虚拟通道中发送每个感兴趣区域ROI的图像数据(压缩图像数据120A)。
传输数据147A包括例如如图5所示的图像数据帧。图像数据帧通常具有报头区域、分组区域和页脚区域。在图5中，为了方便起见，从图示中省略了页脚区域。传输数据147A的帧报头区域R1包括嵌入数据。此时，嵌入数据包括ROI信息120B。在图5中，传输数据147A的分组区域R2包括每行的长分组的有效载荷数据，并且还包括在夹着长分组的有效载荷数据的位置处的分组报头PH和分组页脚PF。此外，分组区域R2在夹着分组报头PHS和分组页脚PF的位置包括低功率模式LP。
此时，例如，报头PH包括DI、WC和ECC。例如，WC包括有效载荷长度，并且例如包括每个感兴趣区域ROI的像素数。ECC包括一个纠错码。DI包括VC(虚拟通道)的数量和数据类型(每个感兴趣区域ROI的数据类型)。根据本实施例，公共虚拟信道的数量被分配给每行的VC。在图5中，传输数据147A的分组区域R2包括压缩图像数据147B。压缩图像数据147B包括一个压缩图像数据120A或多个压缩图像数据120A。在此处，在图5中，更靠近分组报头PH的分组组包括图3中的传输图像116a1的压缩图像数据120A(120A1)，而远离分组报头PH的分组组包括图3中的传输图像116a2的压缩图像数据120A(120A2)。这两个压缩图像数据120A1和120A2构成压缩图像数据147B。每行的长分组的有效载荷数据包括压缩图像数据147B中的一行像素数据。
图6示出了传输数据147A的配置示例。传输数据147A包括例如帧报头区域R1和分组区域R2。顺便提及，图6示出了帧报头区域R1的内容的细节。此外，从图6的图示中省略低功率模式LP。
例如，帧报头区域R1包括帧号F1，作为传输数据147A的标识符。帧报头区域R1包括关于包括在分组区域R2中的压缩图像数据147B的信息。帧报头区域R1包括例如压缩图像数据147B中包括的压缩图像数据120A的数量(ROI的数量)和关于与压缩图像数据147B中包括的每个压缩图像数据120A相对应的ROI图像112的信息(ROI信息120B)。
例如，组合部147将压缩图像数据120A的每个像素行的压缩图像数据147B划分并放置在传输数据147A的分组区域R2中。因此，传输数据147A的分组区域R2不包括对应于重叠区域ROO的图像118的重叠压缩图像数据。此外，例如，组合部147已经在传输数据147A的分组区域R2中消除了不对应于捕捉图像111的每个传输图像116的像素行。因此，传输数据147A的分组区域R2不包括不对应于捕捉图像111的每个传输图像116的像素行。顺便提及，在图6中的分组区域R2中，由虚线包围的区域对应于重叠区域ROO的图像118的压缩图像数据。
更靠近分组报头PH(例如，图6中的1(n))的分组组和更远离分组报头PH(例如，图6中的2(1))的分组组之间的边界由对应于更靠近分组报头PH(例如，图6中的1(n))的分组组的压缩图像数据的ROI图像112的物理区域长度XLa1来指定。对应于包括在更靠近分组报头PH(例如，图6中的1(n))的分组组中的重叠区域ROO的图像118的压缩图像数据中的分组开始位置由对应于更远离分组报头PH(例如，图6中的2(1))的分组组的ROI图像112的物理区域长度XLa2指定。
例如，当要在传输数据147A的分组区域R2中每行生成长分组的有效载荷数据时，组合部147可以在长分组的有效载荷数据中包括ROI信息120B，如图7所示，例如，除了压缩图像数据147B中的一行的像素数据之外。换言之，组合部147可以在长分组的有效载荷数据中包含ROI信息120B，并输出该数据。此时，如图7(A)至图7(K)所示，ROI信息120B包括捕捉图像111中包括的感兴趣区域ROI的数量(ROI的数量)、每个感兴趣区域ROI的区域数量(或优先级115)、每个感兴趣区域ROI的数据长度和每个感兴趣区域ROI的图像格式中的至少一个。ROI信息120B应该优选地被放置在长分组的有效载荷数据中，位于分组报头PH1侧的端部(即，长分组的有效载荷数据的前端)。
(视频接收装置200)
接下来，下面将描述视频接收装置200。图8示出了视频接收装置200的配置示例。图9示出了用于在视频接收装置200中生成ROI图像223A的过程的示例。视频接收装置200包括用于根据视频传输装置100共有的标准(例如，MIPI CSI-2标准、MIPI CSI-3标准或MIPIDSI标准)接收信号的装置。视频接收装置200具有接收部210和信息处理部220。接收部210包括用于经由数据通道DL接收从视频传输装置100输出的传输数据147A、对接收的传输数据147A执行预定处理以生成各种数据(214A、215A和215B)并将生成的数据输出到信息处理部220的电路。信息处理部220包括用于基于从接收部210接收的各种数据(214A和215A)生成ROI图像223A并基于从接收部210接收的数据(215B)生成正常图像224A的电路。
接收部210具有例如报头分离部211、报头解释部212、有效载荷分离部213、EBD解释部214和ROI数据分离部215。
报头分离部211经由数据通道DL从视频传输装置100接收传输数据147A。具体地，报头分离部211接收传输数据147A，包括关于嵌入数据中的捕捉图像111中的每个感兴趣区域ROI的ROI信息120B，并且还包括长分组的有效载荷数据中的每个感兴趣区域ROI的图像数据(压缩图像数据120A)。报头分离部211将接收的传输数据147A分离成帧报头区域R1和分组区域R2。报头解释部212基于包含在帧报头区域R1中的数据(具体地，嵌入数据)来指定包含在分组区域R2中的长分组的有效载荷数据的位置。有效载荷分离部213基于由报头解释部212指定的长分组的有效载荷数据的位置，将包含在分组区域R2中的长分组的有效载荷数据与分组区域R2分离。
EBD解释部214将嵌入数据作为EBD数据214A输出到信息处理部220。此外，EBD解释部214从包含在嵌入数据中的数据类型中区分包含在长分组的有效载荷数据中的图像数据是ROI的图像数据116的压缩图像数据120A还是正常图像数据的压缩图像数据130A。EBD解释部214将区分结果输出到ROI数据分离部215。
如果长分组的有效载荷数据中包含的图像数据是ROI的图像数据116的压缩图像数据120A，则ROI数据分离部215将长分组的有效载荷数据作为有效载荷数据215A输出到信息处理部220(具体地，ROI解码部222)。如果有效载荷数据中包含的图像数据是压缩图像数据130A，则ROI数据分离部215将长分组的有效载荷数据作为有效载荷数据215A输出到信息处理部220(具体地，正常图像解码部224)。在长分组的有效载荷数据包含ROI信息120B的情况下，有效载荷数据215A包括ROI信息120B和压缩图像数据147B的一行像素数据。
信息处理部220从包含在EBD数据214A中的嵌入数据中提取ROI信息120B。信息处理部220基于由信息提取部221提取的ROI信息120B，从接收部210接收的传输数据147A中包含的长分组的有效载荷数据中提取捕捉图像111中的每个感兴趣区域ROI的图像(ROI图像112)。信息处理部220具有例如信息提取部221、ROI解码部222、ROI图像生成部223和正常图像解码部224。
正常图像解码部224解码有效载荷数据215B，以生成正常图像224A。ROI解码部222解码有效载荷数据215A中包含的压缩图像数据147B，以生成图像数据222A。图像数据222A表示一个传输图像116或多个传输图像116。
信息提取部221从包含在EBD数据214A中的嵌入数据中提取ROI信息120B。例如，信息提取部221从包含在EBD数据214A中的嵌入数据中提取包含在捕捉图像111中的感兴趣区域ROI的数量、每个感兴趣区域ROI的区域数量(或优先级115)、每个感兴趣区域ROI的数据长度和每个感兴趣区域ROI的图像格式。换言之，传输数据147A包括对应于每个传输图像116的感兴趣区域ROI的区域编号(或优先级115)，作为用于区分从传输数据147A获得的多个传输图像116中的哪一个已经消除了重叠区域ROO的图像118的区分信息。
ROI图像生成部223基于由信息提取部221获得的ROI信息120B，检测两个或更多个感兴趣区域ROI彼此重叠的重叠区域ROO。
信息提取部221从包含在EBD数据214A中的嵌入数据中提取例如对应于ROI图像112a1的感兴趣区域ROI的坐标(例如，左上端坐标(Xa1，Ya1))、长度(例如，物理区域长度XLa1和YLa1)和区域编号1(或优先级115(＝1))。此外，信息提取部221从包含在EBD数据214A中的嵌入数据中提取例如与ROI图像112a2相对应的感兴趣区域ROI的坐标(例如，左上端坐标(Xa2，Ya2))、长度(例如，物理区域长度XLa2，YLa2)和区域编号2(或优先级115(＝2))。
此时，ROI图像生成部223基于这些提取的信息(以下称为“提取信息221A”)导出重叠区域ROO的位置信息114。ROI图像生成部223导出例如重叠区域ROO的坐标(例如，左上端坐标Xb1、Yb1)和长度(例如，物理区域长度XLb1，YLb1)，作为重叠区域ROO的位置信息114。
顺便提及，ROI图像生成部223可以从有效载荷数据215A获取ROI信息120B，而不是从包含在EBD数据214A中的嵌入数据获取ROI信息120B。在这种情况下，ROI图像生成部223可以基于有效载荷数据215A中包含的ROI信息120B，检测两个或更多个感兴趣区域ROI彼此重叠的重叠区域ROO。此外，ROI图像生成部223可以从有效载荷数据215A中包含的ROI信息120B提取所述提取信息221A，并且可以基于如此提取的所述提取信息221A导出重叠区域ROO的位置信息114。
此外，ROI图像生成部223基于图像数据222A、提取的信息221A和重叠区域ROO的位置信息114，生成捕捉图像111中的每个感兴趣区域ROI的图像(ROI图像112a1和112a2)。ROI图像生成部223输出生成的图像，作为ROI图像223A。
[过程]
接下来，下面将参考图3和图9描述用于在视频传输系统1中传输数据的过程的示例。
首先，图像捕捉部110将通过图像捕捉获得的捕捉图像111(数字图像数据)输出到图像处理部120。ROI分割部121指定包括在从图像捕捉部110输入的捕捉图像111中的两个感兴趣区域ROI1和ROI2。ROI分割部121从捕捉图像111分割各个感兴趣区域ROI1和ROI2的图像(ROI图像112a1和112a2)。ROI分割部121将区域编号1作为标识符分配给感兴趣区域ROI1，并将区域编号2作为标识符分配给感兴趣区域ROI2。
ROI分析部122导出捕捉图像111中每个感兴趣区域ROI的位置信息113。ROI分析部122基于感兴趣区域ROI1导出感兴趣区域ROI1的左上坐标(Xa1，Ya1)、感兴趣区域ROI1在X轴方向上的长度(XLa1)和感兴趣区域ROI1在Y轴方向上的长度(YLa1)。ROI分析部122基于感兴趣区域ROI2导出感兴趣区域ROI2的左上坐标(Xa2，Ya2)、感兴趣区域ROI2在X轴方向上的长度(XLa2)和感兴趣区域ROI2在Y轴方向上的长度(YLa2)。
重叠检测部123基于捕捉图像111中的两个感兴趣区域ROI1和ROI2的位置信息113，检测两个感兴趣区域ROI1和ROI2彼此重叠的重叠区域ROO。具体地，重叠检测部123导出捕捉图像111中重叠区域的位置信息114。重叠检测部123导出重叠区域ROO的左上坐标(Xb1，Yb1)、重叠区域ROO在X轴方向上的长度(XLb1)和重叠区域ROO在Y轴方向上的长度(YLb1)，作为捕捉图像111中重叠区域ROO的位置信息114。
优先级设置部124将“1”作为优先级115分配给作为两个感兴趣区域ROI1和ROI2中的一个的感兴趣区域ROI1，并将“2”作为优先级115分配给另一感兴趣区域ROI2。
编码部125生成两个传输图像116a1和116a2，其中，已经从捕捉图像111获得的两个ROI图像112a1和112a2中消除重叠区域RO0的图像118，以便图像118不会重叠地包括在两个感兴趣区域ROI1和ROI2中。
编码部125基于两个感兴趣区域ROI1和ROI2的区域编号(或优先级115)来确定将从两个ROI图像112a1和112a2中的哪一个中消除图像118。编码部125从对应于两个感兴趣区域ROI1和ROI2中区域编号(或优先级115)较大的感兴趣区域ROI2的ROI图像112a2中消除图像118，从而生成传输图像116a2。编码部125使用对应于两个感兴趣区域ROI1和ROI2中区域编号(或优先级115)较小的感兴趣区域ROI1的ROI图像112a1本身，作为传输图像116a1。
图像处理控制部126生成ROI信息120B和帧信息120C，并将其传输到传输部140。传输部140基于从图像处理部120和130输入的各种数据(120A、120B、120C和130A)生成传输数据147A。传输部140经由数据通道DL向视频接收装置200发送生成的传输数据147A。
接收部210经由数据通道DL接收从视频传输装置100输出的传输数据147A。接收部210对接收的传输数据147A执行预定的处理，以生成EBD数据214A和有效载荷数据215A，并将其输出到信息处理部220。
信息提取部221从包含在EBD数据214A中的嵌入数据中提取ROI信息120B。信息提取部221从包含在EBD数据214A中的嵌入数据中提取对应于ROI图像112a1的感兴趣区域ROI的坐标(例如，左上端坐标(Xa1，Ya1))、长度(例如，物理区域长度XLa1和YLa1)和区域编号1(或优先级115(＝1))。此外，信息提取部221从包含在EBD数据214A中的嵌入数据中提取与ROI图像112a2相对应的感兴趣区域ROI的坐标(例如，左上端坐标(Xa2，Ya2))、长度(例如，物理区域长度XLa2，YLa2)和区域编号2(或优先级115(＝2))。ROI解码部222解码有效载荷数据215A中包括的压缩图像数据147B，以生成图像数据222A。
ROI图像生成部223基于提取的信息(提取信息221A)导出重叠区域ROO的位置信息114。ROI图像生成部223提取例如重叠区域ROO的坐标(例如，左上端坐标Xb1、Yb1)和长度(例如，物理区域长度XLb1，YLb1)，作为重叠区域ROO的位置信息114。此外，ROI图像生成部223基于图像数据222A、提取的信息221A和重叠区域ROO的位置信息114，生成捕捉图像111中的每个感兴趣区域ROI的图像(ROI图像112a1和112a2)。
[优点]
接下来，下面将描述根据本实施例的视频传输系统1的优点。
近年来，大量数据大量传输的应用越来越多。这种应用往往会给传输系统带来很大的负载，可能会导致传输系统在最坏的情况下瘫痪，无法进行数据传输。
为了避免传输系统关闭，在本领域中习惯于将对象指定为成像目标，并且仅传输已被分割的指定对象的部分图像，而不是传输整个捕捉的图像。
顺便提及，MIPI CS1-2可以用作从图像传感器向应用传感器传输数据的过程。由于各种限制，按照这个过程传输ROI可能不容易。
另一方面，根据本实施例，发送关于捕捉图像111中的每个感兴趣区域ROI的ROI信息120B，作为嵌入数据，并且发送每个感兴趣区域ROI的图像数据，作为长分组的有效载荷数据。因此，已经接收到从视频传输装置100发出的传输数据147A的装置(视频接收装置200)可以容易地从传输数据147A中提取每个感兴趣区域ROI的图像数据(ROI图像112)。因此，可以传输感兴趣区域ROI，而不受各种限制。
此外，根据本实施例，在公共虚拟信道中发送每个感兴趣区域ROI的图像数据(压缩图像数据120A)。由于多个ROI图像112因此可以在一个分组中发送，所以在发送多个ROI图像112时不需要进入线性规划模式，从而导致高传输效率。
此外，根据本实施例，每个感兴趣区域ROI的数据类型包括在长分组的有效载荷数据的分组报头PH中并被发送。因此，每个感兴趣区域ROI的数据类型可以简单地通过访问长分组的有效载荷数据的分组报头PH来获得，而不是访问嵌入的数据。因为这增加了视频接收装置200的处理速率，所以可以实现高传输效率。
此外，根据本实施例，在ROI信息120B包含在长分组的有效载荷数据中并被发送的情况下，可以简单地通过访问长分组的有效载荷数据，而不是访问嵌入数据，来获得ROI信息120B。因为这增加了视频接收装置200的处理速率，所以可以实现高传输效率。
此外，根据本实施例，从包含在传输数据147A中的嵌入数据中提取关于每个感兴趣区域ROI的ROI信息120B，并且基于提取的ROI信息120B，从包含在传输数据147A中的长分组的有效载荷数据中提取每个感兴趣区域ROI的图像(ROI图像112)。这允许从传输数据147A中容易地提取每个感兴趣区域ROI的图像(ROI图像112)。因此，可以传输感兴趣区域，而不受各种限制。
2.本公开预先假定的技术2：
下面将参照图1至图9使用图10至图12描述用于将感兴趣区域(ROI)作为从捕捉图像分割的部分区域(形状非矩形)进行传输的技术。具体地，下面将描述用于发送和接收作为成像目标的对象的图像的技术，该对象的形状不是正方形(矩形)。图10是示意性地示出放置在捕捉图像111中指定的对象的区域的示图。为了更容易理解，图10描绘了在包括以15行×23列排列的图像捕捉元件的图像捕捉区域中捕捉的捕捉图像111。图11是示出相对于指定对象建立的ROI的示例的示图。
根据预先假定的技术2，如同预先假定的技术1，将描述在指示ROI分割的控制信号从视频接收装置200经由相机控制接口CCI输入到视频传输装置100的情况下，对从图像捕捉部110输入的捕捉图像111执行预定处理的情况。然而，预先假定的技术2也适用于视频传输装置100(即，传输侧)指示用于分割ROI的坐标的情况。在这种情况下，传输侧被配置为接收从接收侧发送的表示要由ROI获取的“人”或“对象”的信息，并且例如做出关于分割坐标的决定并给出指令。
指示ROI分割的控制信号通过相机控制接口CCI从视频接收装置200输入。响应于该控制信号，如图10所示，ROI分割部121指定作为成像目标被包括在捕捉图像111中的四个对象1至4。例如，对象1具有占据捕捉图像111的左上区域的一部的矩形形状。例如，对象2具有占据捕捉图像111中对象1右侧的部分区域并且没有矩形形状的上侧的两个侧角和其下侧的一部的形状。例如，对象3具有在捕捉图像111中占据对象2下方的部分区域并且没有矩形形状的四个角的形状。例如，对象4具有占据捕捉图像111中的对象3下方的部分区域并且没有矩形形状的上侧的两个侧角的形状。物体3和物体4彼此部分重叠。
如图11所示，ROI分割部121(见图2)分别建立包括指定对象作为感兴趣区域ROI1至ROI4的最小矩形形状。ROI分割部121为对象1建立感兴趣区域ROI1，并分割ROI图像112a1。此外，ROI分割部121为对象2建立感兴趣区域ROI2，并分割ROI图像112a2。此外，ROI分割部121为对象3建立感兴趣区域ROI3，并分割ROI图像112a3。此外，ROI分割部121为对象4建立感兴趣区域ROI4，并分割ROI图像112a4。
ROI分割部121将感兴趣区域ROI1和分配给感兴趣区域ROI1的区域编号“1”彼此关联地存储在存储部中。ROI分割部121将感兴趣区域ROI2和分配给感兴趣区域ROI2的区域编号“2”彼此关联地存储在存储部中。ROI分割部121将感兴趣区域ROI3和分配给感兴趣区域ROI3的区域编号“3”彼此关联地存储在存储部中。ROI分割部121将感兴趣区域ROI4和分配给感兴趣区域ROI4的区域编号“4”彼此关联地存储在存储部中。
ROI分析部122(见图2)导出各个感兴趣区域ROI1至ROI4的位置信息。ROI分析部122导出例如在X轴方向上的物理区域长度XLa1和在Y轴方向上的物理区域长度YLa1，作为感兴趣区域ROI1的位置信息。ROI分析部122导出例如在X轴方向上的物理区域长度XLa2和在Y轴方向上的物理区域长度y12，作为感兴趣区域ROI2的位置信息。ROI分析部122导出例如在X轴方向上的物理区域长度XLa3和在Y轴方向上的物理区域长度YLa3，作为感兴趣区域ROI3的位置信息。ROI分析部122导出例如在X轴方向上的物理区域长度XLa4和在Y轴方向上的物理区域长度YLa4，作为感兴趣区域ROI4的位置信息。此外，例如，ROI分析部122可以导出感兴趣区域ROI在X轴方向上的输出区域长度XLc和感兴趣区域ROI在Y轴方向上的输出区域长度YLc，作为每个感兴趣区域ROI的位置信息113。
ROI分析部122通过导出各个感兴趣区域ROI在X轴方向和Y轴方向上的长度，导出各个感兴趣区域ROI至ROI4的数据的大小和总量，作为后续阶段的信息。表示后续阶段的视频接收装置200因此可以确保存储空间。
ROI分析部122被配置为在作为成像目标的对象和感兴趣区域在形状上彼此不一致的情况下，导出ROI图像112a1至112a4的位置信息，而不是感兴趣区域ROI的位置信息。ROI分析部122导出各行的X轴方向上的左端坐标(xn，yn)和物理区域长度XLn，作为ROI图像112a1至112a4的位置信息。此外，在如在ROI图像112a2的第二行中分离ROI图像的情况下，ROI分析部122导出分离部的相应位置信息。ROI分析部122将感兴趣区域ROI1至ROI4的区域编号和ROI图像112a1至112a4的位置信息彼此关联地存储在存储部中。
此外，例如，ROI分析部122可以导出各个感兴趣区域ROI1至ROI4的感测信息、曝光信息、增益信息、广告字长、图像格式等，除了位置信息之外，并将其与区域编号相关联地存储在存储部中。
在作为成像目标的对象是矩形形状的情况下，重叠检测部123(见图2)导出ROI图像彼此重叠的区域，而不是感兴趣区域彼此重叠的区域，作为重叠区域。如图11所示，重叠检测部123导出重叠区域ROO，作为ROI图像112a3和ROI图像123a4彼此重叠的区域。重叠检测部123将导出的重叠区域RO0与感兴趣区域ROI3和RO4的相应位置信息相关联地存储在存储部中。
优先级设置部124(见图2)将优先级“1”分配给感兴趣区域ROI1，并将优先级“1”与感兴趣区域ROI1相关联地存储在存储部中。优先级设置部124将低于优先级“1”的优先级“2”分配给感兴趣区域ROI2，并将优先级“2”与感兴趣区域ROI2相关联地存储在存储部中。优先级设置部124将低于优先级“2”的优先级“3”分配给感兴趣区域ROI3，并将优先级“3”与感兴趣区域ROI3相关联地存储在存储部中。优先级设置部124将低于优先级“3”的优先级“4”分配给感兴趣区域ROI4，并将优先级“4”与感兴趣区域ROI4相关联地存储在存储部中。
编码部125(见图2)生成ROI图像112a1至112a4的各个传输图像。由于感兴趣区域ROI4的优先级低于感兴趣区域ROI3的优先级，所以编码部125通过从ROI图像112a4中消除重叠区域ROO来生成传输图像。
图像处理控制部126(见图2)生成ROI信息和帧信息，并将其传输到传输部140(见图2)。例如，ROI信息包括ROI图像112a1至112a4的相应位置信息。除了位置信息之外，ROI信息还包括信息(例如，感兴趣区域ROI1至ROI4的相应数据类型、捕捉图像111中包括的感兴趣区域ROI1至ROI4的数量、感兴趣区域ROI1至ROI4的区域数量和优先级等)，类似于作为成像目标的对象是矩形的情况。帧信息包括例如类似于在作为成像目标的对象是矩形的情况下的信息，例如，感兴趣区域ROI1至ROI4的数据类型。
设置在传输部140(见图2)中的链接控制部141将从图像处理控制部126输入的帧信息和ROI信息逐行输出到ECC生成部142和PH生成部143(这两者见图2)。例如，ECC生成部142基于行的数据(例如，虚拟信道的数量、感兴趣区域ROI1至ROI4的相应数据类型、每行的有效载荷长度等)为帧信息中的行生成纠错码。例如，ECC生成部142将生成的纠错码输出到PH生成部143。PH生成部143使用由ECC生成部142生成的帧信息和纠错码，生成每行的分组报头(见图4)。
EBD缓冲器144(见图2)主要存储ROI信息，并在预定时间将ROI信息作为嵌入数据输出到组合部147(见图2)。
ROI数据缓冲器145(见图2)主要存储从编码部125输入的压缩图像数据，并且在指示ROI分割的控制信号经由相机控制接口CCI从视频接收装置200输入的情况下，将压缩图像数据120A作为长分组的有效载荷数据输出到组合部147。
在指示ROI的分割的控制信号经由相机控制接口CCI从视频接收装置200输入的情况下，组合部147基于各种输入数据(分组报头PH、ROI信息和经由ROI数据缓冲器145从编码部125输入的压缩图像数据)生成传输数据147A。组合部147经由数据通道DL将生成的传输数据147A输出到视频接收装置200。具体地，组合部147在长分组的有效载荷数据的分组报头PH中包括感兴趣区域ROI1至ROI4的相应数据类型，并发送该数据。此外，组合部147在公共虚拟通道中发送感兴趣区域ROI1至ROI4的相应图像数据(压缩图像数据)。
在作为成像目标的对象不是矩形的情况下，ROI图像112a1至112a4的位置信息包括在长分组的分组报头PH或有效载荷数据中。ROI图像112a1至112a4的位置信息由PH生成部143包括在分组报头PH中。另一方面，ROI图像112a1至112a4的位置信息被组合部147包括在长分组的有效载荷数据中。
图12是示出传输数据147A的配置示例的示图，其中ROI图像112a1至112a4的位置信息包括在长分组的有效载荷数据中。如图12所示，传输数据147A包括例如帧报头区域R1和分组区域R2。顺便提及，图12示出了帧报头区域R1的内容的细节。此外，从图12的图示中省略低功率模式LP。
例如，帧报头区域R1包括帧号F1，作为传输数据147A的标识符。帧报头区域R1包括关于包括在分组区域R2中的压缩图像数据的信息。帧报头区域R1包括例如压缩图像数据的数量(ROI的数量)和关于对应于每个压缩图像数据的每个ROI图像112a1至112a4的信息(ROI信息)。ROI信息包括区域编号、物理区域长度、矩形输出区域大小、优先级、曝光信息、增益信息、广告字长和图像格式。物理区域长度表示ROI图像的最大长度，矩形输出区域大小表示感兴趣区域ROI的大小。
图12中所示的“信息”表示存储在长分组的有效载荷中的区域信息。例如，ROI图像112a1至112a4的位置信息存储在“信息”中。ROI图像112a1至112a4的位置信息存储在长分组的有效载荷的前部。在构成ROI图像的连续像素行的X轴方向上的物理区域长度相同并且每个像素行不包括不同区域编号的ROI图像的情况下，区域信息“info”可能不存储在包括像素行的第二个和随后的像素行的图像数据的长分组的有效载荷中。根据本示例，在ROI图像112a1中，所有像素行中连续的第一至第四像素行在X轴方向上的物理区域长度相同，并且第一至第四像素行不包括不同区域编号的ROI图像。因此，区域信息“info”不存储在包括第二至第四像素行的图像数据的各个长分组的有效载荷中，所述第二至第四像素行对应于构成ROI图像112a1的连续第一至第四像素行中的第二个和随后的像素行。此外，根据本示例，在ROI图像112a4中，所有像素行中连续的第二和第三像素行在X轴方向上的物理区域长度相同，并且第二和第三像素行不包括不同区域编号的ROI图像。因此，区域信息“info”不存储在包括第三像素行的图像数据的长分组的有效载荷中，该第三像素行对应于构成ROI图像112a4的连续的第二和第三像素行中的第二和随后的像素行。注意，即使在X轴方向上的物理区域长度相同并且各个像素行不包括不同区域编号的ROI图像的情况下，区域信息“info”也可以存储在每行的有效载荷中。
例如，组合部147将通过压缩每个像素行的各个ROI图像112a1至112a4而生成的压缩图像数据划分并放置在传输数据147A的分组区域R2中。图12中所示的“1”表示存储在长分组的有效载荷中的ROI图像112a1的压缩图像数据。图12中所示的“2”表示存储在长分组的有效载荷中的ROI图像112a2的压缩图像数据。图12中所示的“3”表示存储在长分组的有效载荷中的ROI图像112a3的压缩图像数据。图12中所示的“4”表示存储在长分组的有效载荷中的ROI图像112a4的压缩图像数据。在图12中，为了易于理解，压缩图像数据被示为被划分。然而，存储在长分组的有效载荷中的数据没有划分。对应于重叠区域RO0的图像的压缩图像数据112b没有重叠地包括在传输数据147A的分组区域R2中。此外，组合部147已经从传输数据147A的分组区域R2中消除了不对应于捕捉图像111的各个传输图像的像素行。因此，不对应于捕捉图像111的各个传输图像的像素行不包括在传输数据147A的分组区域R2中。
接下来，下面将描述视频接收装置200在已经接收到传输数据147A的情况下的操作。
接收部210的报头分离部211(这两者见图8)经由数据通道DL从视频传输装置100接收传输数据147A。具体地，报头分离部211接收传输数据147A，包括关于嵌入数据中的捕捉图像111中的感兴趣区域ROI1至ROI4的ROI信息，并且还包括长分组的有效载荷数据中的感兴趣区域ROI1至ROI4的图像数据(压缩图像数据)。报头分离部211将接收的传输数据147A分离成帧报头区域R1和分组区域R2。
报头解释部212(见图8)基于包括在帧报头区域R1中的数据(具体地，嵌入数据)来指定包括在分组区域R2中的长分组的有效载荷数据的位置。
有效载荷分离部213(见图8)基于已经由报头解释部212指定的长分组的有效载荷数据的位置，将包括在分组区域R2中的长分组的有效载荷数据与分组区域R2分离。
EBD解释部214将嵌入数据作为EBD数据输出到信息处理部220(见图8)。此外，EBD解释部214从包括在嵌入数据中的数据类型中区分包括在长分组的有效载荷数据中的图像数据是ROI的图像数据116的压缩图像数据还是正常图像数据的压缩图像数据。EBD解释部214将区分结果输出到ROI数据分离部215(见图8)。
如果输入了长分组的有效载荷数据中包括的图像数据表示ROI的图像数据，则ROI数据分离部215将长分组的有效载荷数据作为有效载荷数据输出到信息处理部220(具体地，ROI解码部222)。包括ROI信息的长分组的有效载荷数据包括ROI信息和压缩图像数据的一行像素数据。
设置在信息处理部220中的信息提取部221(见图8)从包括在从EBD解释部214输入的EBD数据中的嵌入数据中提取包括在捕捉图像111中的感兴趣区域ROI1至ROI4的数量(在本示例中为四个)、感兴趣区域ROI1至ROI4的区域编号1至4和优先级1至4、各个感兴趣区域ROI1至ROI4的数据长度以及各个感兴趣区域ROI1至ROI4的图像格式。此外，信息提取部221从嵌入数据中提取ROI图像112a1至112a4的位置信息。
ROI解码部222对有效载荷数据中包括的压缩图像数据147B进行解码，以提取ROI图像112a1至112a4的位置信息，并生成图像数据(构成传输图像)。例如，在输入对应于第六像素行的有效载荷数据的情况下，ROI解码部222从有效载荷数据中提取ROI图像112a1的一条位置信息和ROI图像112a2的两条位置信息，并且生成对应于第六像素行的ROI图像112a1和112b1的相应图像数据(传输图像)。
例如，在输入对应于第十像素行的有效载荷数据的情况下，ROI解码部222从有效载荷数据中提取ROI图像112a3的一条位置信息和ROI图像112a4的一条位置信息，并生成ROI图像112a3和112b4的相应图像数据(传输图像)。
ROI图像生成部223(见图8)基于由信息提取部221获得的ROI信息、由ROI解码部222提取的ROI图像112a1至112a4的位置信息以及由ROI解码部222生成的传输图像，生成捕捉图像中的感兴趣区域ROI1至ROI4的ROI图像112a1至112a4。例如，在输入从有效载荷数据提取的对应于第六像素行的ROI图像112a1的一条位置信息和ROI图像112a2的两条位置信息以及其传输图像的情况下，ROI图像生成部223生成在X轴方向上延伸的五个像素的ROI图像112a1、在与ROI图像112a1间隔五个像素的位置沿X轴方向延伸的四个像素的ROI图像112a2以及在与ROI图像112a2间隔两个像素的位置沿X轴方向延伸的两个像素的ROI图像112a2(见图10)。
此外，ROI图像生成部223基于由信息提取部221获得的ROI信息，检测感兴趣区域ROI3和感兴趣区域ROI4彼此重叠的重叠区域ROO。ROI图像生成部223基于检测到的重叠区域ROO、从有效载荷提取的对应于第十像素行的ROI图像112a3和112a4的各自位置信息以及传输图像(见图10)，生成在X轴方向上延伸的四个像素的ROI图像112a3和在X轴方向上延伸的三个像素的ROI图像112a4，其中，一个像素与ROI图像112a3重叠。
ROI图像生成部223将生成的图像作为ROI图像输出到后续阶段的装置(未示出)。
以这种方式，视频传输装置100和视频接收装置200可以发送和接收作为成像目标的对象的图像，作为ROI图像，即使对象具有除矩形以外的形状。
3.本公开实施例中的去马赛克处理的原理：
接下来，下面将参考图13至18描述本公开的实施例中的去马赛克处理的原理。
图13是示意性示出设置在图像捕捉部的图像捕捉区域中的图像捕捉元件的彩色阵列的示例的示图。图14A是示意性示出设置在图像捕捉部的图像捕捉区域中的图像捕捉元件的彩色阵列的阵列示例A的示图。图14B是示出从图14A所示的图像捕捉区域分割的图像捕捉元件的彩色阵列的阵列图案的示图。图15A是示意性示出设置在图像捕捉部的图像捕捉区域中的图像捕捉元件的彩色阵列的阵列示例B的示图。图15B是示出从图15A所示的图像捕捉区域分割的图像捕捉元件的彩色阵列的阵列图案的示图。图16A是示意性示出设置在图像捕捉部的图像捕捉区域中的图像捕捉元件的彩色阵列的阵列示例C的示图。图16B是示出从图16A所示的图像捕捉区域分割的图像捕捉元件的彩色阵列的阵列图案的示图。图17A是示意性示出设置在图像捕捉部的图像捕捉区域中的图像捕捉元件的彩色阵列的阵列示例D的示图。图17B是示出从图17A所示的图像捕捉区域分割的图像捕捉元件的彩色阵列的阵列图案PD1至PD4的示图。图18是示意性示出去马赛克处理的示图。
如图13所示，根据本示例的图像捕捉区域IR具有设置在左上端的红色像素(以下称为“R像素”)。此外，图像捕捉区域IR具有：奇数行，其中，R像素位于左端，并且R像素和绿色像素(以下称为“G像素”)交替设置；以及偶数行，其中，G像素位于左端，并且G像素和蓝色像素(以下称为“B像素”)交替设置。
如图13所示，固定地确定设置在图像捕捉部的图像捕捉区域IR中的像素的颜色阵列。因此，如果视频接收装置具有图像捕捉区域IR的整个颜色阵列的信息，则可以执行用于将图像捕捉区域IR整体去马赛克的普通去马赛克处理。
然而，被分割的感兴趣区域ROI具有不确定的范围和大小。因此，如图13所示，感兴趣区域ROI-α在其左上端具有G像素，并且感兴趣区域ROI-β在其左上端具有B像素。因此，即使视频接收装置整体上具有图像捕捉区域IR的颜色阵列的信息，也对感兴趣区域ROI-α和感兴趣区域ROI-β执行去马赛克处理，其中，其左上端被认为具有R像素。因此，去马赛克图像不同于原始图像。因此，不能在可选地在图像捕捉区域IR中选择位置和尺寸的ROI上执行去马赛克处理。
因此，根据本实施例，视频传输装置获取用于ROI的图像数据的去马赛克处理的去马赛克信息，并将所获取的去马赛克信息发送到视频接收装置。视频接收装置使用从视频传输装置传输的去马赛克信息来执行去马赛克处理。
如图14A所示，图像捕捉元件的彩色阵列的阵列示例A具有与图13所示的图像捕捉区域IR相同的彩色阵列。如图14B所示，有四个阵列图案PA1至PA4，作为从阵列示例A分割的彩色阵列。如图14B所示，阵列图案PA1的左上端对应于奇数行(H)和奇数列(V)的R像素。阵列示例A的整个图像捕捉区域的颜色阵列是已知的(见图14A)。因此，假设分割区域具有由3行3列表示的尺寸，如图14B所示，固定地确定阵列图案PA1具有第一行的“R像素、G像素、R像素”、第二行的“G像素、B像素、G像素”以及第三行的“R像素、G像素、R像素”。
如图14B所示，阵列图案PA2的左上端对应于偶数行(H)和奇数列(V)的G像素。阵列示例A的整个图像捕捉区域的颜色阵列是已知的(见图14A)。因此，假设分割区域具有由3行3列表示的尺寸，如图14B所示，固定地确定阵列图案PA2具有第一行的“G像素、R像素、G像素”、第二行的“B像素、G像素、B像素”以及第三行的“G像素、R像素、G像素”。
如图14B所示，阵列图案PA3的左上端对应于奇数行(H)和偶数列(V)的G像素。阵列示例A的整个图像捕捉区域的颜色阵列是已知的(见图14A)。因此，假设分割区域具有由3行3列表示的尺寸，如图14B所示，固定地确定阵列图案PA3具有第一行的“G像素、B像素、G像素”、第二行的“R像素、G像素、R像素”以及第三行的“G像素、B像素、G像素”。
如图14B所示，阵列图案PA4的左上端对应于偶数行(H)和偶数列(V)的B像素。阵列示例A的整个图像捕捉区域的颜色阵列是已知的(见图14A)。因此，假设分割区域具有由3行3列表示的尺寸，如图14B所示，固定地确定阵列图案PA4具有第一行“B像素、G像素、B像素”、第二行“G像素、R像素、G像素”和第三行“B像素、G像素、B像素”。
如图15A所示，图像捕捉元件的彩色阵列的阵列示例B具有设置在其左上端的G像素。此外，阵列示例B具有：奇数行，其中，G像素位于左端并且G像素和R像素交替设置；以及偶数行，其中，B像素位于左端并且B像素和G像素交替设置。
如图15B所示，有四个阵列图案PB1至PB4，作为从阵列示例B分割的彩色阵列。如图15B所示，阵列图案PB1的左上端对应于奇数行(H)和奇数列(V)的G像素。阵列示例B的整个图像捕捉区域的颜色阵列是已知的(参见图15A)。因此，假设分割区域具有由3行和3列表示的尺寸，如图15B所示，固定地确定阵列图案PB1具有第一行“G像素、R像素、G像素”、第二行“B像素、G像素、B像素”和第三行“G像素、R像素、G像素”。
如图15B所示，阵列图案PB2的左上端对应于偶数行(H)和奇数列(V)的R像素。阵列示例B的整个图像捕捉区域的颜色阵列是已知的(参见图15A)。因此，假设分割区域具有由3行和3列表示的尺寸，如图15B所示，固定地确定阵列图案PB2具有第一行“R像素、G像素、R像素”、第二行“G像素、B像素、G像素”和第三行“R像素、G像素、R像素”。
如图15B所示，阵列图案PB3的左上端对应于奇数行(H)和偶数列(V)的B像素。阵列示例B的整个图像捕捉区域的颜色阵列是已知的(参见图15A)。因此，假设分割区域具有由3行3列表示的尺寸，如图15B所示，则固定地确定阵列图案PB3具有第一行“B像素、G像素、B像素”、第二行“G像素、R像素、G像素”和第三行“B像素、G像素、B像素。”
如图15B所示，阵列图案PB4的左上端对应于偶数行(H)和偶数列(V)的G像素。阵列示例B的整个图像捕捉区域的颜色阵列是已知的(参见图15A)。因此，假设分割区域具有由3行3列表示的尺寸，如图15B所示，则固定地确定阵列图案PB4具有第一行“G像素、B像素、G像素”、第二行“R像素、G像素、R像素”和第三行“G像素、B像素、G像素”。
如图16A所示，图像捕捉元件的彩色阵列的阵列示例C具有设置在其左上端的B像素。此外，阵列示例C：具有奇数行，其中，B像素位于左端并且B像素和G像素交替设置；以及偶数行，其中，G像素位于左端并且G像素和R像素交替设置。
如图16B所示，有四个阵列图案PC1至PC4，作为从阵列示例C分割的彩色阵列。如图16B所示，阵列图案PC1的左上端对应于奇数行(H)和奇数列(V)的B像素。阵列示例C的整个图像捕捉区域的颜色阵列是已知的(参见图16A)。因此，假设分割区域具有由3行和3列表示的尺寸，如图16B所示，固定地确定阵列图案PC1具有第一行“B像素、G像素、B像素”、第二行“G像素、R像素、G像素”和第三行“B像素、G像素、B像素”。
如图16B所示，阵列图案PC2的左上端对应于偶数行(H)和奇数列(V)的G像素。阵列示例C的整个图像捕捉区域的颜色阵列是已知的(参见图16A)。因此，假设分割区域具有由3行和3列表示的尺寸，如图16B所示，固定地确定阵列图案PC2具有第一行“G像素、B像素、G像素”、第二行“R像素、G像素、R像素”和第三行“G像素、B像素、G像素”。
如图16B所示，阵列图案PC3的左上端对应于奇数行(H)和偶数列(V)的G像素。阵列示例C的整个图像捕捉区域的颜色阵列是已知的(参见图16A)。因此，假设分割区域具有由3行3列表示的尺寸，如图16B所示，固定地确定阵列图案PC3具有第一行“G像素、R像素、G像素”、第二行“B像素、G像素、B像素”和第三行“G像素、R像素、G像素”。
如图16B所示，阵列图案PC4的左上端对应于偶数行(H)和偶数列(V)的R像素。阵列示例C的整个图像捕捉区域的颜色阵列是已知的(参见图16A)。因此，假设分割区域具有由3行和3列表示的尺寸，如图16B所示，固定地确定阵列图案PC3具有第一行“R像素、G像素、R像素”、第二行“G像素、B像素、G像素”和第三行“R像素、G像素、R像素”。
如图17A所示，图像捕捉元件的彩色阵列的阵列示例D具有设置在其左上端的R像素。此外，阵列示例D具有：奇数行，其中，R像素位于左端并且R像素和G像素交替设置；以及偶数行，其中，白色像素(以下称为“W像素”)位于左端并且W像素和B像素交替设置。例如，W像素表示在光电转换器(例如，光电二极管)上没有彩色元件(滤色器)的像素。
如图17B所示，有四个阵列图案PD1至PD4，作为从阵列示例d分割的彩色阵列。如图17B所示，阵列图案PD1的左上端对应于奇数行(H)和奇数列(V)的R像素。阵列示例D的整个图像捕捉区域的颜色阵列是已知的(见图17A)。因此，假设分割区域具有由3行3列表示的尺寸，如图17B所示，则固定地确定阵列图案PD1具有第一行“R像素、G像素、R像素”、第二行“W像素、B像素、W像素”和第三行“R像素、G像素、R像素”。
如图17B所示，阵列图案PD2的左上端对应于偶数行(H)和奇数列(V)的G像素。阵列示例D的整个图像捕捉区域的颜色阵列是已知的(见图17A)。因此，假设分割区域具有由3行3列表示的尺寸，如图17B所示，则固定地确定阵列图案PD2具有第一行“G像素、R像素、G像素”、第二行“B像素、W像素、B像素”以及第三行“G像素、R像素、G像素”。
如图17B所示，阵列图案PD3的左上端对应于奇数行(H)和偶数列(V)的W像素。阵列示例D的整个图像捕捉区域的颜色阵列是已知的(见图17A)。因此，假设分割区域具有由3行3列表示的尺寸，如图17B所示，则固定地确定阵列图案PD3具有第一行“W像素、B像素、W像素”、第二行“R像素、G像素、R像素”以及第三行“W像素、B像素、W像素”。
如图17B所示，阵列图案PD4的左上端对应于偶数行(H)和偶数列(V)的W像素。阵列示例D的整个图像捕捉区域的颜色阵列是已知的(见图17A)。因此，假设分割区域具有由3行3列表示的尺寸，如图17B所示，则固定地确定阵列图案PD4具有第一行“B像素、W像素、B像素”、第二行“G像素、R像素、G像素”以及第三行“B像素、W像素、B像素”。
以这种方式，在图像捕捉区域的颜色阵列整体已知的情况下，通过获得关于左上端的像素是哪种颜色的信息、关于左上端的行和列中的每一个是奇数还是偶数的信息以及关于分割区域的大小的信息，可以固定地确定包括在感兴趣区域ROI中的像素的颜色阵列。因此，当视频传输装置将关于每个感兴趣区域ROI的像素的颜色阵列的信息作为去马赛克信息传输到视频接收装置时，视频接收装置可以对感兴趣区域ROI执行去马赛克处理。
例如，假设视频传输装置和视频接收装置中的每一个在存储部中存储指示图像捕捉部具有包括阵列示例A的颜色阵列的图像捕捉区域的信息，并且阵列图案PA1的左上端的信息和感兴趣区域ROI-γ的大小的信息作为去马赛克信息从视频传输装置传输到视频接收装置。视频接收装置可以基于去马赛克信息来确定感兴趣区域ROI-γ具有图18左侧所示的颜色阵列。视频接收装置执行去马赛克处理，用于基于感兴趣区域ROI-γ的确定的颜色阵列，将马赛克上的RGB值转换成每个像素的RGB信号。视频接收装置通过插值等方式从相同颜色的外围像素生成在马赛克之前不存在的像素。视频接收装置基于感兴趣区域ROI-γ中的颜色阵列对像素执行插值处理，以在去马赛克之后生成红色像素数据、绿色像素数据和蓝色像素数据，如图18中粗箭头的右侧所示。
4.本公开的第一实施例：
接下来，下面将参考图15至22描述根据本公开第一实施例的传输装置、接收装置和传输系统。首先，下面将参照图19描述根据本实施例的传输装置、接收装置和传输系统的总体构成。图19是示出根据本实施例的视频传输装置3、视频接收装置4和视频传输系统10的总体构成的框图。
如图19所示，根据本实施例的视频传输系统10包括用作图像传感器的视频传输装置(传输装置的示例)3和用作图像信号处理器(ISP)的视频接收装置(接收装置的示例)4。在视频传输系统(传输系统的示例)10中，视频传输装置3被配置为具有传输部322，用于根据MIPI(移动工业处理器接口)D-PHY标准、MIPI C-PHY标准或MIPI CSI(相机串行接口)-2标准发送信号。此外，在视频传输系统10中，视频接收装置4被配置为具有接收部412，用于根据MIPI D-PHY标准、MIPI C-PHY标准或MIPI CSI-2标准接收信号。此外，视频传输系统10可以被配置为在视频传输装置3和视频接收装置4之间根据MPIP CSI-3标准或MIPI DSI标准发送和接收信号，如同根据预设技术1和2的视频传输系统1一样。
视频传输系统10中提供的视频传输装置3被配置为执行与根据预设技术1和2的视频传输装置100的功能等同的功能。具体地，视频传输装置3被配置为在从视频接收装置4输入指示ROI的分割的控制信号的情况下，对从图像捕捉部31输入的捕捉图像执行与视频传输装置100相同的处理。此外，视频传输装置3被配置为在从视频接收装置4输入指示正常图像输出的控制信号的情况下，对从图像捕捉部31输入的捕捉图像执行与视频传输装置100相同的处理。此外，视频传输装置3被配置为获取用于上述去马赛克处理的去马赛克信息，并将去马赛克信息发送到视频接收装置4。
视频接收装置4被配置为执行与根据预先假定的技术1和2的视频接收装置200的功能等同的功能。具体而言，视频接收装置4被配置为对从视频传输装置3发送的传输数据执行与根据预设技术1和2的视频接收装置200相同的处理。此外，视频接收装置4被配置为使用从视频传输装置3发送的去马赛克信息，执行去马赛克处理。
因此，图19主要就关于去马赛克处理的配置细节示出了视频传输装置3和视频接收装置4。
如图19所示，视频传输装置3包括捕捉目标图像的图像捕捉部31。图像捕捉部31具有例如用于将入射光转换成电信号的光电转换部311。光电转换部311包括例如CCD图像传感器或CMOS图像传感器。此外，图像捕捉部31具有信号转换部312，用于将从光电转换部311输入的模拟电信号转换成数字图像数据。信号转换部312被配置为执行用于放大从光电转换部311输入的模拟电信号的信号放大(AGC)处理和用于将放大的信号转换成数字信号的模数转换(ADC)处理。图像捕捉部31具有放大部313，用于将数字增益应用于从信号转换部312输入的图像数据。放大部313将应用了数字增益的图像数据输出到传输部322。
视频传输装置3包括控制部32，用于控制图像捕捉部31并控制预定的信号处理过程。控制部32具有传感器CPU 321和传输部322。传感器CPU 321被配置为执行与图像处理部120和130(见图2)相同的功能。传输部320被配置为执行与传输部140(见图2)相同的功能。在控制部32中，传感器CPU 321可以用图像处理部120和130代替，并且传输部322可以用传输部140代替。
传感器CPU 321具有曝光控制部321a，用于控制光电转换部311的曝光条件。此外，传感器CPU 321具有转换区域控制部(控制部的示例)321b，用于控制获取去马赛克信息，以用于ROI的图像数据的去马赛克处理。具有转换区域控制部321b和控制部32的每个传感器CPU 321对应于控制部的示例，该控制部用于控制获取用于感兴趣区域ROI的图像数据的去马赛克处理中的去马赛克信息。
转换区域控制部321b被配置为获取感兴趣区域ROI的去马赛克信息。在建立了多个感兴趣区域ROI的情况下，转换区域控制部321b被配置为获取每个感兴趣区域ROI的去马赛克信息。转换区域控制部321b被配置为获取感兴趣区域ROI的图像数据的颜色阵列或感兴趣区域ROI的图像数据的端部的颜色信息，作为去马赛克信息。更具体地，转换区域控制部321b获取感兴趣区域ROI的端部的颜色信息和指示端部表示奇数行和偶数行以及奇数列和偶数列的组合中的哪一个的信息作为去马赛克信息，作为颜色阵列的信息。根据本实施例，获取作为感兴趣区域ROI的端部的左上端的颜色信息。然而，可以使用四个角的一个端部的信息或任何其他位置的信息，只要可以指定感兴趣区域ROI的颜色阵列。转换区域控制部321b获取例如感兴趣区域ROI的左上端的像素的颜色信息以及左上端的偶数或奇数行信息和列信息，并将获取的信息输出到传输部322。
此外，转换区域控制部321b被配置为当在已经激活视频传输装置3和视频接收装置4之后或者每次发送去马赛克处理信息时发送第一去马赛克信息时，将整个图像捕捉部31的图像捕捉区域的颜色阵列的信息发送到视频接收装置4。
即使要分割的对象不是矩形形状，传感器CPU 321也建立包括该对象作为感兴趣区域ROI的最小矩形形状，作为感兴趣区域ROI，如ROI分割部121的情况一样(参见图2)。此外，传感器CPU 321导出感兴趣区域ROI的位置信息(左上端、X轴方向上的长度和Y轴方向上的长度)，并将导出的位置信息发送到视频接收装置4，与ROI分析部122的情况一样(见图2)。
视频接收装置4可以基于感兴趣区域ROI的整体尺寸的信息、感兴趣区域ROI的左上端的去马赛克信息以及图像捕捉区域的整体颜色阵列的信息，来识别感兴趣区域ROI的整体颜色阵列。以这种方式，即使要分割的对象不是矩形形状，视频接收装置4也可以在去马赛克处理中从相同颜色的外围像素中插入在马赛克之前不存在的像素。
传输部322生成传输数据(见图6和12)，包括从传感器CPU 321输入的感兴趣区域ROI的坐标(分割坐标)、大小和去马赛克信息，并且还包括从图像捕捉部31输入的图像数据，并且将生成的传输数据发送到视频接收装置4。去马赛克信息包括在ROI信息中，并从传输部322发送出去。由于ROI信息包括在嵌入数据中，所以去马赛克信息包括在嵌入数据中，并从传输部322发送出去。
以这种方式，视频传输装置3从传输部322发送包括在ROI信息中的去马赛克信息。换言之，视频传输装置3从传输部322发送感兴趣区域ROI的图像数据的颜色阵列或者感兴趣区域ROI的图像数据的端部的颜色信息，作为去马赛克信息。另外，换言之，视频传输装置3从传输部322发送感兴趣区域ROI的端部(在本实施例中为左上端)的颜色信息以及指示该端部表示奇数行和偶数行以及奇数列和偶数列的组合中的哪一个的信息，作为去马赛克信息。
如图19所示，视频传输装置3包括传输部322，传输部发送作为长分组的有效载荷数据的感兴趣区域ROI的图像数据和作为嵌入数据的ROI信息。传输部322在嵌入数据中包括去马赛克信息，作为一条ROI信息，并将去马赛克信息发送到视频接收装置4。传输部322被配置为根据MIPID-PHY标准、MIPI C-PHY标准或MIPI CSI-2标准发送包括去马赛克信息的传输数据。
如图19所示，视频接收装置4包括控制部41，用于使用从视频传输装置3传输的传输数据来控制预定的信号处理过程。控制部41具有Cam CPU 411、接收部412、原始处理部413和嵌入数据获取部414。除了信息提取部221和ROI图像生成部223(见图8)之外，Cam CPU411被配置为执行与信息处理部220(见图8)相同的功能。在视频接收装置4中，原始处理部413被配置为执行与ROI图像生成部223相同的功能。接收部412被配置为执行与接收部210(见图8)相同的功能，除了EBD解释部214(见图8)。在视频接收装置4中，嵌入数据获取部414被配置为执行与EBD解释部214和信息提取部221相同的功能。在控制部41中，接收部412和嵌入数据获取部414可以用接收部210代替，并且Cam CPU 411和原始处理部413可以用信息处理部220代替。在这种情况下，由嵌入数据获取部414执行的信息提取部221的功能由接收部220执行。
如图19所示，视频接收装置4包括接收部412，接收部接收传输信号，其中，感兴趣区域ROI的图像数据包括在有效载荷数据中，并且感兴趣区域ROI信息包括在嵌入数据中。接收部412被配置为接收从视频传输装置3输入的传输数据。接收部412根据MIPI D-PHY标准、MIPI C-PHY标准或MIPI CSI-2标准接收传输数据。接收部412从输入的传输数据生成各种数据，并将生成的数据输出到Cam CPU 411、原始处理部413和嵌入数据获取部414。
原始处理部413被配置为基于关于从Cam CPU 411输入的感兴趣区域ROI的信息(ROI信息、有效载荷数据中包括的图像数据等)生成感兴趣区域ROI的图像数据。由原始处理部413生成的图像数据包括由光电转换部311获取的未处理的图像数据，称为原始数据、原始图像或未显影数据。原始处理部413被配置为将生成的图像数据输出到图像处理部42(稍后将详细描述)。
如图19所示，视频接收装置4包括嵌入数据获取部(控制部的示例)414，其控制从接收部412接收的传输信号(传输数据)中提取用于感兴趣区域ROI的图像数据的去马赛克处理的去马赛克信息。具有嵌入数据获取部414的控制部41对应于控制部的示例，该控制部控制从由接收部412接收的传输信号(传输数据)中提取用于感兴趣区域ROI的图像数据的去马赛克处理的去马赛克信息。嵌入数据获取部414被配置为从包括在从接收部412输入的传输信号(传输数据)中的ROI信息中提取去马赛克信息。由于ROI信息包括在嵌入数据中，所以嵌入数据获取部414从包括在从接收部412输入的传输信号(传输数据)中的嵌入数据中提取去马赛克信息。嵌入数据获取部414被配置为提取ROI的图像数据的颜色阵列或者ROI的图像数据的端部的颜色信息，作为去马赛克信息。更具体地，嵌入数据获取部414被配置为提取感兴趣区域ROI的端部的颜色信息和指示端部表示奇数行和偶数行以及奇数列和偶数列的组合中的哪一个的信息作为去马赛克信息，作为颜色阵列的信息。根据本实施例，嵌入数据获取部414被配置为获取作为感兴趣区域ROI的端部的左上端的颜色信息。然而，可以使用四个角的一个端部的信息或任何其他位置的信息，只要其可以指定感兴趣区域ROI的颜色阵列。嵌入数据获取部414获取例如感兴趣区域ROI的左上端的像素的颜色信息以及左上端的偶数或奇数行信息和列信息，并将获取的信息输出到Cam CPU 411。
除了去马赛克信息之外，嵌入数据获取部414还获取包含在嵌入数据中的各种信息(例如，感兴趣区域ROI的数量、感兴趣区域ROI的区域数量和优先级、感兴趣区域ROI的数据长度、感兴趣区域ROI的图像格式等)。嵌入数据获取部414将获取的各种信息输出到CamCPU 411。
如图19所示，Cam CPU 411具有坐标确定部411a。坐标确定部411a被配置为基于从嵌入数据获取部414输入的各种信息来确定感兴趣区域ROI的坐标(位置和大小)和颜色阵列。在从嵌入数据获取部414输入关于多个感兴趣区域ROI的信息的情况下，坐标确定部411a确定每个感兴趣区域ROI的坐标和颜色阵列。坐标确定部411a基于所确定的感兴趣区域ROI的左上端的坐标，建立要去马赛克的感兴趣区域ROI的左上端的坐标。
Cam CPU 411向图像处理部42输出关于已经由坐标确定部411a确定的感兴趣区域ROI的坐标和颜色阵列的信息以及关于已经从嵌入数据获取部414输入的感兴趣区域ROI的区域号和优先级的信息。
如图19所示，视频接收装置4包括图像处理部42。图像处理部42具有去马赛克处理部421，用于使用由嵌入数据获取部414提取的去马赛克信息对感兴趣区域ROI的图像数据执行去马赛克处理。图像处理部42还具有图像质量调整部422，用于调整已经去马赛克的图像数据的图像质量。
去马赛克处理部421被配置为基于由嵌入数据获取部414提取并经由Cam CPU 411输入的去马赛克信息(ROI的坐标和颜色阵列的信息)对从原始处理部413输入的图像数据执行去马赛克处理。如参考图14至18所述，例如，基于图14B所示的阵列图案PA1，去马赛克处理部421对去马赛克之前的图像数据(对应于从原始处理部413输入的图像数据)执行去马赛克处理，如图18中粗箭头的左侧所示。以这种方式，去马赛克处理部421在去马赛克之后生成图像数据，如图18中粗箭头的右侧所示。
此外，去马赛克处理部421被配置为对设置在感兴趣区域ROI中的外围端的图像数据执行边界处理。具体地，去马赛克处理部421对设置在感兴趣区域ROI的轮廓部(边缘部)上的图像数据执行边界处理。去马赛克处理部421使用感兴趣区域ROI中的第二行的图像数据，对感兴趣区域ROI中的第一行的图像数据执行边界处理。此外，去马赛克处理部421使用感兴趣区域ROI中的最后一行之前的一行的图像数据，对感兴趣区域ROI中的最后一行的图像数据执行边界处理。因此，去马赛克处理部421使用包括在分组区域中的第二像素行的有效载荷数据中包括的图像数据，对包括在传输数据的分组区域中包括的第一像素行的有效载荷数据中包括的图像数据执行等同于将要执行的边界处理的处理。此外，去马赛克处理部421使用包括在分组区域中的最终像素行之前的行的有效载荷数据中包括的图像数据，对包括在传输数据的分组区域中的最终像素行的有效载荷数据中包括的图像数据执行等同于将要执行的边界处理的处理。
去马赛克处理部421被配置为将已经去马赛克的图像数据输出到图像质量调整部422。
图像质量调整部422被配置为通过对从去马赛克处理部421输入的图像数据执行用于调整伽马校正和白平衡的RGB处理和用于调整图像质量的灰度和亮度的YC处理来调整图像质量。例如，图像质量调整部422被配置为向显示装置(未示出)输出已经调整其图像质量的图像。因此，在显示装置上显示所需的图像。
(去马赛克处理方法)
接下来，下面将参考图19使用图20和21描述根据本实施例的传输装置、接收装置和传输系统中的去马赛克处理方法。首先，下面将描述根据本实施例的传输装置、接收装置和传输系统中的去马赛克处理的序列。图20是示出根据本实施例的传输装置、接收装置和传输系统中的去马赛克处理的序列的流程图。
(步骤S31)
如图20所示，当包括在视频传输装置3中的传感器CPU 321检测到帧开始触发时，传感器CPU 321确定用于从图像捕捉部31的图像捕捉区域分割图像的分割位置，然后进行到步骤S33的处理。在步骤S31中，传感器CPU 321确定分割位置，即感兴趣区域ROI的左上端的坐标及其图像尺寸(在X轴方向和Y轴方向上的长度)，并在嵌入数据中设置所确定的坐标和图像尺寸的信息。此外，传感器CPU 321获取感兴趣区域ROI中的去马赛克信息(左上端的颜色信息以及左上端的奇数和偶数行和列的信息)，在ROI信息中包括获取的去马赛克信息，并且将ROI信息设置在嵌入数据中。传感器CPU 321可以在ROI信息中包括图14A至17B所示的图像捕捉区域的颜色阵列和阵列图案的整体信息，作为去马赛克信息，并且可以在嵌入数据中设置ROI信息。
(步骤S33)
传感器CPU 321在传输部322中设置传输数据，该传输数据包括设置了感兴趣区域ROI的左上端的坐标和图像尺寸的嵌入数据以及去马赛克信息，然后，传感器CPU 321结束去马赛克处理。
在步骤S33中设置的传输数据通过使用MIPI的通过硬件(HW)的通信从视频传输装置3传输到视频接收装置4。
视频接收装置4中包括的接收部412从接收的传输数据中提取嵌入数据，并将嵌入数据输出到嵌入数据获取部414。嵌入数据获取部414解码从接收部412输入的嵌入数据，获取各种信息(例如，感兴趣区域ROI的数量、感兴趣区域ROI的区域数量和优先级、感兴趣区域ROI的数据长度、感兴趣区域ROI的图像格式等)，并将获取的各种信息输出到Cam CPU411。
(步骤S41)
由嵌入数据获取部414解码嵌入数据的时间触发的Cam CPU 411基于嵌入数据获取部414从接收部412接收的传输数据中获取和输入的各种信息，获取优先级最高的感兴趣区域ROI的坐标(位置和大小)，然后进入步骤S43的处理。此外，在步骤S41，Cam CPU 411确定优先级最高的位于感兴趣区域ROI的左上端的像素的颜色以及左上端表示奇数和偶数行和列的组合中的哪一个。
(步骤S43)
Cam CPU 411基于所获取的感兴趣区域ROI的去马赛克信息来计算感兴趣区域ROI的左上端的坐标，并且进行到步骤S45的处理。
(步骤S45)
Cam CPU 411基于在步骤S43中计算的感兴趣区域ROI的左上端的坐标，设置要去马赛克的感兴趣区域ROI的左上端的坐标。此外，Cam CPU 411将待去马赛克的感兴趣区域ROI的左上端的设定坐标和去马赛克信息(感兴趣区域ROI的坐标和颜色阵列的信息)输出到去马赛克处理部421，并进行到步骤S47的处理。
去马赛克处理部421使用从Cam CPU 411等输入的去马赛克信息，对从原始处理部413输入的图像数据执行去马赛克处理。以这种方式，对优先级最高的感兴趣区域ROI的图像数据执行去马赛克处理。
(步骤S47)
Cam CPU 411确定是否已经对从嵌入数据获取部414输入的所有感兴趣区域ROI执行了从步骤S41到步骤S45的处理。如果Cam CPU 411确定已经对所有感兴趣区域ROI进行了处理，则Cam CPU 411结束去马赛克处理。另一方面，如果Cam CPU 411确定没有对所有感兴趣区域ROI执行处理，则Cam CPU 411返回到步骤S41的处理。Cam CPU 411重复从步骤S41到步骤S47的处理，直到在所有感兴趣区域ROI上完成去马赛克处理。
接下来，下面将参考图21描述根据本实施例的传输装置、接收装置和传输系统中去马赛克处理的处理时间。图21是示出根据本实施例的传输装置、接收装置和传输系统中去马赛克的时序图的示例的示图。图21中指示的“传感器V同步”表示输入到传感器CPU 321的垂直同步信号。图21中所示的“传感器处理”表示由传感器CPU 321执行的处理。图21中所示的“ISP同步”表示输入到Cam CPU 411的垂直同步信号。图21中所示的“ISP处理”表示由Cam CPU 411执行的处理。图21中所示的感兴趣区域ROI-ε1至ROI-ε3示意性地示出了在一个帧周期中处理的感兴趣区域。在图21中，为了更容易理解，在第一帧周期中处理感兴趣区域ROI-ε1。为了比较感兴趣区域的大小，还示出了在第二和第三帧周期中处理的感兴趣区域ROI-ε2和ROI-ε3。此外，图21示出了从左向右流逝的时间。
如图21所示，当传感器CPU 321在时间t1检测到帧开始触发时，传感器CPU 321执行上述步骤S31的处理，作为嵌入设置处理。具体而言，在嵌入设置处理中，传感器CPU 321设置用于从图像捕捉部31的图像捕捉区域分割图像的分割位置，并且获取感兴趣区域ROI-ε1中的去马赛克信息(左上端的颜色信息和左上端的奇数和偶数行和列的信息)。
当嵌入设置处理完成时，传感器CPU 321在时间t2通过使用MIPI的硬件(HW)的通信将包括具有在嵌入设置处理中设置的信息的嵌入数据的传输数据传输到视频接收装置4。
当传感器CPU 321已经开始发送传输数据时，传感器CPU 321开始曝光和帧内读取，即，图像捕捉部31开始捕捉图像。
在时间t3，当嵌入数据获取部414已经完成对Cam CPU 411在时间t2已经开始接收的传输数据中包括的嵌入数据的解码时，Cam CPU 411开始计算感兴趣区域ROI-ε1的坐标和大小，并确定其颜色阵列。在时间t4，Cam CPU 411完成感兴趣区域ROI-ε1的坐标和大小的计算，并设置其颜色阵列。换言之，在从时间t3到时间t4的周期内，执行一次图20所示的从步骤S41到步骤S45的处理。
视频接收装置4从时间t4开始在ISP处理中执行去马赛克处理和图像质量调整。
虽然没有详细描述，但是在与感兴趣区域ROI-ε1相同的时间，对位置和大小不同的感兴趣区域ROI-ε2、ROI-ε3执行去马赛克处理。
如参考图20和21所述，视频传输系统10可以通过使用MIPI的通信方式将具有嵌入数据的传输数据从视频传输装置3传输到视频接收装置4，该嵌入数据包括关于感兴趣区域ROI的去马赛克信息。以这种方式，视频传输系统10可以对每个感兴趣区域ROI执行去马赛克处理。
5.本公开的第一实施例的修改：
接下来，下面将参考图22描述根据本实施例的修改的传输装置、接收装置和传输系统。图22是示出根据本修改的视频传输装置3、视频接收装置4z和视频传输系统10z的总体构成的框图。注意，在操作和功能上与根据本实施例的视频传输装置3、视频接收装置4和视频传输系统10的那些组件相同的那些组件由相同的附图标记表示，并且将从描述中省略。
如图22所示，根据本修改的视频传输系统10z包括在配置上与根据本实施例的视频传输装置3相同的视频传输装置3以及在配置上与根据本实施例的视频接收装置4部分不同的视频接收装置4z。根据本修改的视频接收装置4z的特征在于，包括用于确定感兴趣区域ROI的坐标并确定其颜色阵列的确定部423。
如图22所示，视频接收装置4z包括确定部423，从嵌入数据获取部414输出的各种信息被输入到确定部。另一方面，Cam CPU 411z不具有坐标确定部。确定部423是硬件实现的，并且具有坐标确定部423a和控制值生成部423b。
坐标确定部423a被配置为基于从嵌入数据获取部414输入的各种信息来确定ROI的坐标(位置和大小)并确定其颜色阵列。在从嵌入数据获取部414输入关于多个感兴趣区域ROI的信息的情况下，坐标确定部411a确定每个感兴趣区域ROI的坐标和颜色阵列。
控制值生成部423b被配置为基于由坐标确定部411a确定的感兴趣区域ROI的左上端的坐标来设置要去马赛克的感兴趣区域ROI的左上端的坐标。
因此，根据本修改的视频接收装置4z在操作和功能上与根据本实施例的视频接收装置4相同，尽管用于确定感兴趣区域ROI的坐标的确定部是硬件实现的。此外，根据本修改的视频传输系统10z与根据本实施例的视频传输系统10相同。因此，将从描述中省略根据本修改的去马赛克处理方法。
如上所述，根据本实施例和修改的传输装置、接收装置和传输系统可以对由捕捉图像分割的一些感兴趣区域ROI执行去马赛克处理。
此外，根据本实施例和修改，从捕捉图像分割的一些部的位置、大小和数量是可选的。因此，根据本实施例和修改的传输装置、接收装置和传输系统可以对作为分割单元的像素执行ROI去马赛克处理。
根据本实施例和修改的传输装置、接收装置和传输系统被配置为在后续阶段将从由传输装置捕捉的图像捕捉区域分割的部的坐标和尺寸传输到传感器CPU。
根据本实施例和修改例的接收装置被配置为接收从传输装置的图像捕捉部的图像捕捉区域分割的部的坐标和尺寸，并且在控制去马赛克处理中使用接收到的坐标和尺寸。
根据本实施例和修改的接收装置被配置为接收从传输装置传输的作为分割部的感兴趣区域ROI的去马赛克信息(颜色阵列信息，例如，左上端的颜色信息)，并且在控制去马赛克处理中使用接收到的去马赛克信息。
根据本实施例和修改例的接收装置可以根据感兴趣区域ROI的坐标和大小来计算去马赛克的前导位置(例如，左上端)的像素的颜色，并且控制前导像素(例如，左上端的像素)的颜色的指定。
在一帧中(即，在一个捕捉图像中)存在多个感兴趣区域ROI的情况下，根据本实施例和修改例的传输装置、接收装置和传输系统可以指定多个感兴趣区域ROI中的每一个的前导像素(例如，左上端的像素)的颜色。通过这种方式，可以对每个感兴趣的ROI区域执行适当的去马赛克处理。
6.本公开的第二实施例：
接下来，下面将参考图23和24描述根据本公开第二实施例的传输装置、接收装置和传输系统。首先，下面将参照图23描述根据本实施例的传输装置、接收装置和传输系统的总体构成。图23是示出根据本实施例的视频传输装置(传输装置的示例)5、视频接收装置(接收装置的示例)6和视频传输系统(传输系统的示例)20的总体构成的框图。那些在操作和功能上与根据第一实施例的视频传输装置3、视频接收装置4和视频传输系统10的组件相同的组件由相同的附图标记表示，并且将从描述中省略。
根据本实施例的视频传输装置5、视频接收装置6和视频传输系统20被配置为在视频接收装置6对去马赛克处理的颜色布局有限制的情况下，向视频传输装置5传输指示颜色布局限制的控制信号。
如图23所示，视频接收装置6的Cam CPU 611被配置为向视频传输装置5发送指示去马赛克颜色布局限制的控制信号。由于视频接收装置6具有与根据第一实施例的视频接收装置4相同的配置，并且被配置为执行与根据第一实施例的视频接收装置4相同的功能，除了视频接收装置6可以发送控制信号之外，所以将从描述中省略视频接收装置6。
如图23所示，从视频接收装置6发出的指示颜色布局限制的控制信号被输入到包括在视频传输装置5中的传感器CPU 521。当控制信号被输入到传感器CPU 521时，在指示的颜色布局包括在感兴趣区域ROI的颜色阵列中的情况下，传感器CPU 521不向视频接收装置6传输关于限制的颜色布局的去马赛克信息。
例如，假设视频接收装置6具有限制，使得在感兴趣区域ROI的水平像素(X轴方向上的像素)是奇数的情况下不能执行去马赛克处理。在这种情况下，例如，传感器CPU 521可以对作为感兴趣区域ROI的水平像素和垂直像素的起点的像素(例如，位于左上端的像素)的坐标和大小造成偶数限制。例如，在感兴趣区域ROI中有151个水平像素的情况下，传感器CPU 521将通过将151个像素除以2产生的值(75.5)转换成整数(75)，并将该整数乘以2。以这种方式，由于感兴趣区域ROI中的水平像素的数量变为偶数(在该示例中为150个像素)，所以视频传输装置5将该信息作为去马赛克信息发送到视频接收装置6，视频接收装置可以对感兴趣区域ROI执行去马赛克处理。
由于视频传输装置5具有与根据第一实施例的视频传输装置3相同的配置，并且被配置为执行与根据第一实施例的视频传输装置3相同的功能，除了视频传输装置5可以接收从视频接收装置6发出的指示去马赛克颜色布局限制的控制信号，并且基于该控制信号执行上述处理，所以将从描述中省略视频传输装置5。
(去马赛克处理方法)
接下来，下面将参考图23使用图24描述根据本实施例的传输装置、接收装置和传输系统中的去马赛克处理方法。图24是示出根据本实施例的传输装置、接收装置和传输系统中的去马赛克处理的序列的流程图。
当根据本实施例的视频传输系统20接通，以开始操作视频传输装置5和视频接收装置6时，视频传输装置5开始传感器初始化过程，并且视频接收装置6开始IPS初始化过程。
(步骤S60)
如图24所示，当视频接收装置6中的Cam CPU 611开始IPS初始化过程时，Cam CPU611例如通过使用MIPI的硬件(HW)向视频传输装置5发送指示去马赛克处理的颜色布局的限制的IPS限制指示信号，并结束IPS初始化过程。
(步骤S50)
如图24所示，视频传输装置5中的传感器CPU 521开始传感器初始化过程。如果传感器CPU 321在步骤S50中确定其接收到IPS限制指示信号，则传感器CPU 321接收关于包含在IPS限制指示信号中的限制的信息，将接收到的信息存储在存储部中，并完成传感器初始化过程。另一方面，如果传感器CPU 321在步骤S50中确定其没有接收到IPS限制指示信号，则传感器CPU 321完成传感器初始化过程，而不执行任何特殊处理。
(步骤S51)
如图24所示，当传感器CPU 521检测到帧开始触发时，传感器CPU 521首先执行传输坐标控制过程。在传感器CPU 521存储关于去马赛克处理的颜色布局的限制的信息的情况下，传感器CPU 521对感兴趣区域ROI或其颜色阵列的左上端的坐标和图像尺寸执行预定处理，以便发送到视频接收装置6的去马赛克处理不会违反限制，然后进行步骤S53的处理。另一方面，在传感器CPU 521不存储关于去马赛克处理的颜色布局的限制的信息的情况下，传感器CPU 521执行与根据第一实施例的步骤S31相同的处理，然后进入步骤S53的处理。
(步骤S53)
传感器Cam CPU 521执行嵌入数据传输过程并完成去马赛克处理。步骤S53的处理与根据第一实施例的步骤S33的处理相同，并且将从描述中省略。
(步骤S61至步骤S67)
由嵌入数据获取部414解码嵌入数据的时间触发的Cam CPU 411开始步骤S61的处理。步骤S61的处理与根据第一实施例的步骤S41的处理相同，步骤S63的处理与根据第一实施例的步骤S43的处理相同，步骤S65的处理与根据第一实施例的步骤S45的处理相同，步骤S67的处理与根据第一实施例的步骤S47的处理相同。因此，将从描述中省略步骤S61至步骤S67。
视频接收装置6对去马赛克处理的颜色布局有预定的限制。然而，传感器CPU 521设置去马赛克信息，以便不违反限制。因此，Cam CPU 611可以在不确定去马赛克信息是否违反限制的情况下执行去马赛克处理，试图抑制去马赛克处理的处理负担。
如上所述，尽管与第一实施例相比，根据本实施例的发送过程、接收过程和传输系统具有预定的限制，但是其可以实现用于对从捕捉图像分割的一些感兴趣区域ROI进行去马赛克的去马赛克处理。
本公开不限于上述实施例，而是可以以各种方式进行修改。
根据第一和第二实施例的视频传输装置3和5设置包括要被分割为感兴趣区域ROI的对象的最小矩形形状，即使该对象不是矩形形状。此外，视频传输装置3和5在嵌入数据中包括感兴趣区域ROI的位置信息(左上端、X轴方向上的长度、Y轴方向上的长度)和感兴趣区域ROI的去马赛克信息(左上端的颜色信息等)。然而，本公开不限于这些细节。
例如，视频传输装置3和5可以在有效载荷中包括目标对象的位置信息和去马赛克信息，并且将有效载荷发送到视频接收装置4和6，如同预先假定的技术2一样。在这种情况下，由于目标对象不是矩形形状，所以图像数据可能不存在于要去马赛克的像素的外围。然而，在这种情况下，例如，可以通过以与边界处理相同的方式内插图像数据来执行去马赛克处理。
根据第一和第二实施例的视频传输装置3和5中的转换区域控制部321b、传感器CPU 321或控制部32可以被配置为控制感兴趣区域ROI的图像数据的区域，使得去马赛克信息将满足预定条件。具体地，转换区域控制部321b、传感器CPU 321或控制部32可以控制感兴趣区域ROI的图像数据，使得例如在图像捕捉元件的颜色阵列中，根据阵列示例A至D，去马赛克信息将满足阵列模式PA1至PA4、PB1至PB4、PC1至PC4、PD1至PD4(预定条件的示例)中的任一个。以这种方式，传输装置可以控制感兴趣区域，以实现用于去马赛克的特定模式。
上面已经关于预先假定的技术、实施例和修改描述了本公开。然而，本公开不限于上述实施例等，而是可以在其中进行各种改变和修改。注意，本说明书中阐述的优点仅通过说明性示例给出。本公开的优点不限于本说明书中阐述的那些。除了本说明书中阐述的优点之外，本公开可以具有其他优点。
此外，本公开可以具有以下设置，例如：
(1)一种传输装置，包括：
控制部，控制获取用于对ROI(感兴趣区域)的图像数据进行去马赛克的去马赛克处理使用的去马赛克信息；以及
传输部，ROI的图像数据作为有效载荷数据发送出去，并将ROI信息作为嵌入数据发送出去。
(2)根据(1)所述的传输装置，其中，所述去马赛克信息包含在所述ROI信息中，并且从所述传输部发送出去。
(3)根据(1)所述的传输装置，其中，所述控制部获取ROI的图像数据的颜色阵列或者ROI的图像数据的端部的颜色信息作为去马赛克信息。
(4)根据(1)所述的传输装置，其中，所述控制部控制所述ROI的图像数据的区域，使得所述去马赛克信息满足预定条件。
(5)根据(4)所述的传输装置，其中，所述控制部获取端部的颜色信息和指示端部表示奇数行和偶数行以及奇数列和偶数列的组合中的哪一个的信息作为去马赛克信息。
(6)根据(1)所述的传输装置，其中，所述传输部根据MIPI(移动工业处理器接口)D-PHY标准、MIPI C-PHY标准或MIPI CSI(相机串行接口)2标准发送信号。
(7)一种接收装置，包括：
接收部，接收传输信号，该传输信号在有效载荷数据中包含ROI(感兴趣区域)的图像数据，并且在嵌入数据中包含ROI信息；
控制部，控制从由接收部接收的传输信号中提取用于对ROI的图像数据进行去马赛克的去马赛克处理的去马赛克信息；以及
处理部，使用由控制部提取的去马赛克信息执行用于对ROI的图像数据进行去马赛克的去马赛克处理。
(8)根据(7)所述的接收装置，其中，所述控制部从包含在传输信号中的ROI信息中提取所述去马赛克信息。
(9)根据(7)所述的接收装置，其中，所述控制部提取所述ROI的图像数据的颜色阵列或者所述ROI的图像数据的端部的颜色信息作为去马赛克信息。
(10)根据(9)所述的接收装置，其中，所述控制部提取所述ROI的端部的颜色信息和指示所述端部表示奇数行和偶数行以及奇数列和偶数列的组合中的哪一个的信息作为去马赛克信息。
(11)根据(7)所述的接收装置，其中，所述处理部对设置在所述ROI中的外围端的图像数据执行边界处理。
(12)根据(7)所述的接收装置，其中，所述接收部根据MIPI(移动工业处理器接口)D-PHY标准、MIPI C-PHY标准或MIPI CSI(相机串行接口)-2标准接收信号。
(13)一种传输系统，包括：
传输装置，所述传输装置具有：控制部，控制获取用于对ROI(感兴趣区域)的图像数据进行去马赛克的去马赛克处理使用的去马赛克信息；以及传输部，将ROI的图像数据作为有效载荷数据发送出去，并将ROI信息作为嵌入数据发送出去；以及
接收装置，具有：接收部，接收传输信号，该传输信号在有效载荷数据中包含ROI的图像数据，并且在嵌入数据中包含ROI信息；控制部，控制从由接收部接收的传输信号中提取用于对ROI的图像数据进行去马赛克的去马赛克处理的去马赛克信息；以及处理部，使用由控制部提取的去马赛克信息来执行用于对ROI的图像数据进行去马赛克的去马赛克处理。
(14)根据(13)所述的传输系统，其中，
所述传输装置从传输部发送出包含在ROI信息中的去马赛克信息，并且
所述接收装置利用接收部接收具有去马赛克信息的传输信号，并利用控制部从接收部接收的传输信号中包含的ROI信息中提取去马赛克信息。
(15)根据(13)所述的传输系统，其中，
所述传输装置从传输部发送ROI的图像数据的颜色阵列或ROI的图像数据的端部的颜色信息作为去马赛克信息，并且
所述接收装置利用接收部接收颜色阵列或ROI的图像数据的端部的颜色信息作为去马赛克信息。
(16)根据(15)所述的传输系统，其中，
所述传输装置从传输部发送ROI端部的颜色信息和指示端部表示奇数行和偶数行以及奇数列和偶数列的组合中的哪一个的信息作为去马赛克信息，并且
所述接收装置利用接收部接收颜色信息和指示端部表示奇数行和偶数行以及奇数列和偶数列的组合中的哪一个的信息作为去马赛克信息。
(17)根据(13)所述的传输系统，其中，
所述传输装置从传输部根据MIPI(移动工业处理器接口)D-PHY标准、MIPI C-PHY标准或MIPI CSI(相机串行接口)-2标准发送信号，并且
所述接收装置利用接收部根据MIPI D-PHY标准、MIPI C-PHY标准或MIPI CSI-2标准接收信号。
应当理解，本领域的技术人员可以根据落入所附权利要求及其等同物的范围内的设计要求和其他因素来预期各种修正、组合、子组合和变化。
[附图说明]
1、10、10z、20：视频传输系统
3、5、100：视频传输装置
4、4z、6、200：视频接收装置
31、110：图像捕捉部
32、41：控制部
42：图像处理部
100A：CSI发射机
100B：CCI从装置
111：捕捉图像
112、112a1、112a2、112a3、112a4、112b1、112b4、123a4、223A：ROI图像
112b：压缩图像数据
113、114：位置信息
115：优先级
116、116a1、116a2：传输图像
118：图像
120、130：图像处理部
120A、120A1、120A2、130A、147B：压缩图像数据
120B：ROI信息
120C：帧信息
121：ROI分割部
122：ROI分析部
123：检测部
124：优先级设置部
125、131：编码部
126：图像处理控制部
140：传输部
141：链路控制部
142：ECC生成部
143：PH生成部
144、145：ROI数据缓冲器
144：EBD缓冲器
146：正常图像数据缓冲器
147：组合部
147A：传输数据
200A：CSI接收机
200B：CCI主设备
210：接收部
211：报头分离部
212：报头解释部
213：有效载荷分离部
214：EBD解释部
214A：EBD数据
215：ROI数据分离部
215A、215B：有效载荷数据
220：信息处理部
221：信息提取部
221A：提取的信息
222：ROI解码部
222A：图像数据
223：ROI图像生成部
224：正常图像解码部
224A：正常图像
311：光电转换部
312：信号转换部
313：放大部
321、521：传感器CPU
321a：曝光控制部
321b：转换区域控制部
322：传输部
411、411z、611：Cam CPU
411a：坐标确定部
412：接收部
413：原始处理部
414：嵌入数据获取部
421：去马赛克处理部
422：图像质量调整部
423：确定部
423a：坐标确定部
423b：控制值生成部
521：传感器CPU
A、B、C：阵列示例
ADC：模数转换
AGC：信号放大
Cb：色差分量
CCI：相机控制接口
CL：时钟通道。

Claims (17)

1.一种传输装置，包括：
控制部，控制获取用于对ROI(感兴趣区域)的图像数据进行去马赛克的去马赛克处理使用的去马赛克信息；以及
传输部，将所述ROI的图像数据作为有效载荷数据发送出发，并将ROI信息作为嵌入数据发送出去。
2.根据权利要求1所述的传输装置，其中，所述去马赛克信息包含在所述ROI信息中，并且从所述传输部发送出去。
3.根据权利要求1所述的传输装置，其中，所述控制部获取所述ROI的图像数据的颜色阵列或者所述ROI的图像数据的端部的颜色信息作为所述去马赛克信息。
4.根据权利要求1所述的传输装置，其中，所述控制部控制所述ROI的图像数据的区域，使得所述去马赛克信息满足预定条件。
5.根据权利要求4所述的传输装置，其中，所述控制部获取端部的颜色信息和指示端部表示奇数行和偶数行以及奇数列和偶数列的组合中的哪一个的信息作为所述去马赛克信息。
6.根据权利要求1所述的传输装置，其中，所述传输部根据MIPI(移动工业处理器接口)D-PHY标准、MIPI C-PHY标准或MIPI CSI(相机串行接口)2标准发送信号。
7.一种接收装置，包括：
接收部，接收传输信号，所述传输信号在有效载荷数据中包含ROI(感兴趣区域)的图像数据，并且在嵌入数据中包含ROI信息；
控制部，控制从所述接收部接收的所述传输信号中提取用于对所述ROI的图像数据进行去马赛克的去马赛克处理的去马赛克信息；以及
处理部，使用由所述控制部提取的所述去马赛克信息执行用于对所述ROI的图像数据进行去马赛克的所述去马赛克处理。
8.根据权利要求7所述的接收装置，其中，所述控制部从包含在所述传输信号中的所述ROI信息中提取所述去马赛克信息。
9.根据权利要求7所述的接收装置，其中，所述控制部提取所述ROI的图像数据的颜色阵列或者所述ROI的图像数据的端部的颜色信息作为所述去马赛克信息。
10.根据权利要求9所述的接收装置，其中，所述控制部提取所述ROI的所述端部的颜色信息和指示端部表示奇数行和偶数行以及奇数列和偶数列的组合中的哪一个的信息作为所述去马赛克信息。
11.根据权利要求7所述的接收装置，其中，所述处理部对设置在所述ROI中的外围端的图像数据执行边界处理。
12.根据权利要求7所述的接收装置，其中，所述接收部根据MIPI(移动工业处理器接口)D-PHY标准、MIPI C-PHY标准或MIPI CSI(相机串行接口)-2标准接收信号。
13.一种传输系统，包括：
传输装置，具有：控制部，控制获取用于对ROI(感兴趣区域)的图像数据进行去马赛克的去马赛克处理使用的去马赛克信息；以及传输部，将所述ROI的图像数据作为有效载荷数据发送出去，并将ROI信息作为嵌入数据发送出去；以及
接收装置，具有：接收部，接收传输信号，所述传输信号包含有效载荷数据中的所述ROI的图像数据，并且包括嵌入数据中的ROI信息；控制部，控制从所述接收部接收的所述传输信号中提取对所述ROI的图像数据进行去马赛克的去马赛克处理的去马赛克信息；以及处理部，使用由所述控制部提取的所述去马赛克信息执行用于对所述ROI的图像数据进行去马赛克的所述去马赛克处理。
14.根据权利要求13所述的传输系统，其中，
所述传输装置从所述传输部发送出包含在所述ROI信息中的所述去马赛克信息，并且
所述接收装置利用所述接收部接收具有所述去马赛克信息的所述传输信号，并利用所述控制部从所述接收部接收的所述传输信号中包含的所述ROI信息中提取所述去马赛克信息。
15.根据权利要求13所述的传输系统，其中，
所述传输装置从所述传输部发送所述ROI的图像数据的颜色阵列或所述ROI的图像数据的端部的颜色信息作为所述去马赛克信息，并且
所述接收装置利用所述接收部接收所述颜色阵列或所述ROI的图像数据的端部的所述颜色信息作为所述去马赛克信息。
16.根据权利要求15所述的传输系统，其中，
所述传输装置从所述传输部发送所述ROI的端部的所述颜色信息和指示所述端部表示奇数行和偶数行以及奇数列和偶数列的组合中的哪一个的信息作为所述去马赛克信息，并且
所述接收装置利用所述接收部接收所述颜色信息和指示所述端部表示奇数行和偶数行以及奇数列和偶数列的组合中的哪一个的信息作为所述去马赛克信息。
17.根据权利要求13所述的传输系统，其中，
所述传输装置从所述传输部根据MIPI(移动工业处理器接口)D-PHY标准、MIPI C-PHY标准或MIPI CSI(相机串行接口)-2标准发送信号，并且
所述接收装置利用所述接收部根据MIPID-PHY标准、MIPI C-PHY标准或MIPI CSI-2标准接收信号。
CN202080045599.4A 2019-06-28 2020-05-19 传输装置、接收装置和传输系统 Pending CN114009006A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019121340 2019-06-28
JP2019-121340 2019-06-28
PCT/JP2020/019707 WO2020261813A1 (ja) 2019-06-28 2020-05-19 送信装置、受信装置及び伝送システム

Publications (1)

Publication Number Publication Date
CN114009006A true CN114009006A (zh) 2022-02-01

Family

ID=74061383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080045599.4A Pending CN114009006A (zh) 2019-06-28 2020-05-19 传输装置、接收装置和传输系统

Country Status (7)

Country Link
US (1) US12052515B2 (zh)
EP (1) EP3993392A4 (zh)
JP (1) JPWO2020261813A1 (zh)
KR (1) KR20220031556A (zh)
CN (1) CN114009006A (zh)
TW (1) TW202118277A (zh)
WO (1) WO2020261813A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3993389A4 (en) * 2019-06-28 2022-08-17 Sony Semiconductor Solutions Corporation TRANSMITTER, RECEIVER AND TRANSPORT SYSTEM
US11743366B1 (en) * 2020-10-13 2023-08-29 Marvell Asia Pte Ltd Communication of sensor data in a motor vehicle communication network
US11823430B2 (en) * 2021-07-16 2023-11-21 Arm Limited Video data processing

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010147531A (ja) 2008-12-16 2010-07-01 Sony Corp 撮像装置と撮像方法
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP5629642B2 (ja) 2011-05-19 2014-11-26 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP2014027526A (ja) * 2012-07-27 2014-02-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5700703B2 (ja) 2012-08-20 2015-04-15 日本電信電話株式会社 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
JP6129119B2 (ja) 2014-06-04 2017-05-17 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理システム、撮像装置、および画像処理方法
KR102224851B1 (ko) 2014-12-11 2021-03-08 삼성전자주식회사 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템
JP6604019B2 (ja) 2015-04-14 2019-11-13 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
JP6556076B2 (ja) * 2016-03-10 2019-08-07 富士フイルム株式会社 内視鏡画像信号処理装置および方法並びにプログラム
JP7007160B2 (ja) * 2017-11-10 2022-01-24 ソニーセミコンダクタソリューションズ株式会社 送信装置
US11606527B2 (en) 2017-11-10 2023-03-14 Sony Semiconductor Solutions Corporation Transmitter

Also Published As

Publication number Publication date
EP3993392A4 (en) 2022-08-24
US20220217310A1 (en) 2022-07-07
JPWO2020261813A1 (zh) 2020-12-30
EP3993392A1 (en) 2022-05-04
WO2020261813A1 (ja) 2020-12-30
US12052515B2 (en) 2024-07-30
TW202118277A (zh) 2021-05-01
KR20220031556A (ko) 2022-03-11

Similar Documents

Publication Publication Date Title
KR102509132B1 (ko) 영상 송신 장치 및 영상 수신 장치
CN114009006A (zh) 传输装置、接收装置和传输系统
EP3993435A1 (en) Sending device, receiving device, and transmission system
US11431941B2 (en) Method, apparatus, and system for processing digital images
KR20190117498A (ko) 영상 송신 장치 및 영상 수신 장치
JPH04170882A (ja) ディジタル・カメラ信号処理装置
US12041344B2 (en) Transmitting apparatus, receiving apparatus, and transmission system
US10681266B2 (en) Method, apparatus, and system for processing digital images
US20110135199A1 (en) Coding apparatus and method for simultaneous transmission of image processing information and color information
JP7450704B2 (ja) 送信装置、受信装置及び伝送システム
CN114009007A (zh) 发送装置、接收装置和传输系统
CN113170029A (zh) 图像处理装置和图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination