CN102209187A - 摄像系统、视频处理设备和摄像设备 - Google Patents

摄像系统、视频处理设备和摄像设备 Download PDF

Info

Publication number
CN102209187A
CN102209187A CN2011100755811A CN201110075581A CN102209187A CN 102209187 A CN102209187 A CN 102209187A CN 2011100755811 A CN2011100755811 A CN 2011100755811A CN 201110075581 A CN201110075581 A CN 201110075581A CN 102209187 A CN102209187 A CN 102209187A
Authority
CN
China
Prior art keywords
video data
data
video
parts
picture pick
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011100755811A
Other languages
English (en)
Inventor
远藤一雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102209187A publication Critical patent/CN102209187A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/38Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/22Adaptations for optical transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/44Colour synchronisation
    • H04N9/45Generation or recovery of colour sub-carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Systems (AREA)

Abstract

提供了一种摄像系统、视频处理设备和摄像设备。其中,摄像系统包括摄像设备和视频处理设备。摄像设备具有图像传感器、校正部件、第一传输处理部件、以及同步处理部件。视频处理设备具有第二传输处理部件和变换部件。其中,视频处理设备输出由变换部件的变换获得的视频数据。

Description

摄像系统、视频处理设备和摄像设备
技术领域
本发明涉及能够以高清晰度成像的摄像系统、以及可用于该摄像系统的视频处理设备和摄像设备。更具体地,本发明涉及可以在摄像设备可以输出通过在像素阵列中无改变地成像获取的信号时应用的技术。
背景技术
对于通过成像来获取视频信号(或图像信号)的摄像设备(或视频照相机)来说,已经开发出了帧像素的数目大大超过一般广播标准所规定的像素数目的各种摄像设备。例如,已经开发出了可以获取被称为4K×2K信号的视频信号的摄像设备,其中水平像素的数目约为4000,大大超过了水平像素数目1920×垂直像素数目1080的HD(高清晰度)信号的像素数目。更具体地,摄像机能够处理每帧像素数目为水平像素4096×垂直像素数目为2160的帧图像,以及每帧像素数目为水平像素数目3840×垂直像素数目为2160的帧图像。另外,已经提出了如下配置的摄像设备,该摄像设备能够处理水平像素的数目约为8000,并且垂直像素的数目约为4000的被称为8K×4K的信号。
这些超过HD信号的像素数目的高清晰度视频信号增加了与所增加的每帧的像素数目成比例的数据量,从而相应地要求以较高的传输速率进行传输。这些高清晰度视频信号还需要记录系统中的记录处理以及显示系统中的监视器显示处理来应对这些高清晰度。
下面示出的日本专利早期公开No.2006-13830公开了被配置为传送例如来自摄像设备的被构造为4K×2K信号的视频信号的系统。
发明内容
应该注意,在具有高达4K×2K的清晰度的视频信号的情况下,每帧的像素数目非常大,从而大大增加了用于生成这种视频信号的处理的负担。例如,结合在摄像设备中的用于将图像光变换为成像信号的图像传感器通常具有对于该摄像设备来说具有唯一性的像素阵列,以实现有效的成像。即,在设置有原色R(红)、G(绿)、和B(蓝)的图像传感器的情况下,一些图像传感器具有这样的特殊配置,其中三原色R、G、B没有被均匀设置。这种特殊设置之一被称为例如Bayer阵列。
在诸如Bayer阵列之类的像素阵列的情况下,生成视频信号中的每个像素的信号需要对图像传感器中的相邻像素的输出进行插值处理。更具体地,必需执行从图像传感器上的实际像素阵列到输出视频信号的像素阵列的变换。
然而,在摄像设备内执行诸如像素变换处理之类的视频信号处理相应地增加了摄像设备的负担,从而导致摄像设备的尺寸和功率消耗增加。特别地,用于实时处理诸如4K×2K信号之类的高清晰度视频信号的电路需要非常大的电路尺寸以及非常高速的操作,从而使得摄像设备的移动性和灵活性被恶化。
在被配置为获取诸如4K×2K信号之类的高清晰度的视频信号的相关技术的系统的情况下,从摄像设备的图像传感器获取的成像信号被作为未改变的具有像素阵列的信号(即,原始信号)的形式的文件暂存在摄像设备的记录部件中,然后所存储的数据文件被读取,以被另一个设备变换。对于所存储的数据文件的变换,基于例如计算机设备的视频变换系统是可用的。
在将原始信号作为文件存储之后,将所存储的数据变换为标准视频信号使得没有必要实时地将原始信号变换为视频信号,从而减轻了处理的负担。
然而,在文件存储之后执行变换的处理配置美允许用户观看实时拍摄的视频,从而存在该配置不能提供该系统的现场操作(live operation)的问题。
另外,如果多摄像机系统由两个以上摄像设备以及用于执行3D成像以获取用于三维显示的视频的摄像系统配置而成,则原始信号的上述归档会呈现需要在两个以上摄像设备之间给出原始信号的同步的问题。
所以,本发明通过提供被配置为实时且完美地处理由摄像设备拍摄的高清晰度信号的摄像系统、视频处理设备、以及摄像设备,解决了与相关技术的方法和设备相关的上述和其他问题,并且解决了所提出的问题。
在实现本发明及其一个实施例的过程中,提供了一种摄像系统。该摄像系统是由摄像设备和视频处理设备配置的。
摄像设备具有图像传感器、校正部件、第一传输处理部件、以及同步处理部件。
图像传感器被配置为包括以预定阵列排列的像素,并且输出具有对应于像素阵列的像素序列的成像信号。
校正部件被配置为将图像传感器输出的成像信号校正为具有像素序列的视频数据。
第一传输处理部件被配置为向从校正部件输出的视频数据添加同步数据,以将结果数据输出到外部。
同步处理部件被配置为基于通过第一传输处理部件接收的同步定时设置数据,控制图像传感器进行成像的定时。
视频处理设备具有第二传输处理部件和变换部件。
第二传输处理部件被配置为接收第一传输处理部件输出的视频数据,并输出将被传送至第一传输处理部件的同步定时设置数据。
变换部件被配置为执行第二传输处理部件接收的视频数据的像素插值,以将插值后的视频数据变换为具有视频格式所规定的像素阵列的视频数据。
视频处理设备输出通过变换部件的变换获取的视频数据。
如上所述并且根据本发明的实施例,摄像设备可以只输出作为未改变的具有像素阵列的视频数据的从图像传感器输出的成像信号。所以,不需要在摄像设备中执行例如用于提供具有规定格式的视频数据的插值处理。
另外,摄像设备进行成像的定时与视频处理设备传送的同步定时设置数据同步,从而使得摄像设备中的成像的定时可以由视频处理设备控制。
根据本发明的实施例,摄像设备不需要将图像传感器输出的成像信号插值为具有规定格式的视频数据,从而可以在不影响摄像设备的移动性的情况下实现高清晰度视频的成像。
另外,可以通过利用连接至摄像设备的视频处理设备执行对应于图像传感器的像素阵列的插值处理,将摄像设备输出的视频数据变换为具有规定格式的视频数据,从而可以实现实时显示通过摄像设备的成像获取的视频。
因此,本发明的实施例可以在保持实时特性的同时,对高清晰度视频进行成像和显示。
附图说明
图1是示出作为本发明的一个实施例实现的示例性系统配置的框图;
图2A和2B是示出作为本发明的上述实施例实现的图像传感器的示例性像素阵列的示意图;
图3是示出作为本发明的上述实施例实现的原始视频数据的示例性配置的示意图;
图4A和4B是示出作为本发明的上述实施例实现的示例性原始视频数据压缩处理的示意图;
图5是示出作为本发明的另一个实施例实现的示例性系统配置的框图;以及
图6是示出本发明实施例的系统为3D成像系统的示例的框图。
具体实施方式
下面将参考附图通过本发明的实施例来更详细地描述本发明。描述将按照下面的次序做出:
(1)一个实施例的总体系统的描述(图1);
(2)图像传感器和原始数据的示例性像素阵列的描述(图2A至图4B);
(3)另一个实施例的描述(图5);
(4)实施例被应用于3D成像系统的示例的描述(图6);以及
(5)变型的描述。
(1)一个实施例的总体系统的描述
现在,参考图1,示出了作为本发明的一个实施例实现的示例性系统配置。
在这个实施例中,摄像系统由摄像设备100、充当用于处理在摄像设备100中获取的视频数据的视频处理设备的显像单元(development unit)200、及其外围装置配置而成。摄像设备100和显像单元200通过光缆16相互连接。在通过光缆16相互连接的摄像设备100和显像单元200的输入/输出部件之间,数据可以以例如大约2G比特/秒的高速率传送,其可以无改变地传送由摄像设备100成像的数据。
摄像设备100具有控制摄像设备100的部件的成像操作的摄像机控制部件107。
在摄像设备100进行成像处理时,通过透镜101获取的图像光被形成在图像传感器102的成像表面上,并且所形成的图像被逐像素地光电变换为图像信号。对于图像传感器102,CCD(电荷耦合装置)图像传感器、CMOS(互补金属氧化物半导体)图像传感器等是可用的。图像传感器102是提供每帧像素数目为水平方向4096×垂直方向2160的4K×2K信号的高清晰度图像传感器。随后将描述图像传感器102的像素排列。应该注意,如果每帧的像素数目为水平方向4096×垂直方向2160,则该像素数目为具有最终由该像素数目规定的格式的视频数据的像素数目,所以图像传感器102上的像素数目可能与这种水平方向4096×垂直方向2160的值相匹配。
图像传感器102的成像操作被与成像器驱动部件103供应的驱动信号同步地执行,其中成像信号是与该驱动信号同步地逐水平行地读取的。
图像传感器102输出的成像信号被供应给原始数据校正部件104。这里的原始数据表示这样的视频数据,其中对应于图像传感器102的像素阵列的序列中的从图像传感器102输出的成像信号保留该像素序列。所以,原始数据在像素序列和像素数目方面不同于一般视频数据的传输格式。
原始数据校正部件104对图像传感器102供应的成像信号的每个像素的信号进行处理,以校正(如果存在的话则)对于图像传感器102来说具有唯一性的像素划痕(pixel scratch)、垂直条(vertical stripe)、噪声等,从而提供原始数据。基本上,成像信号的像素数目和原始数据的像素数据相等,所以原始数据校正部件104不执行变换像素数目和像素位置的处理。然而,也可以提供这样的配置,其中一帧成像信号周围的无效区域被移除,以减少像素数目。
经过原始数据校正部件104校正的原始数据被供应给原始数据传输处理部件105,以由原始数据传输处理部件进行处理,从而传输给显像单元200。这里,同步数据被添加至一帧原始数据,并且附加有同步数据的数据被从输入/输出部件108输出到光缆16。在这种情况下,原始数据传输处理部件105可以变换例如一个像素的原始数据的比特数目。例如,如果由原始数据校正部件104供应的一个像素的数据由12比特配置而成,则一个像素的数据可以被变换为16比特。替代地,一个像素的数据可以被变换为非线性数据。
从光缆16进入输入/输出部件108的数据(同步数据)被供应给原始数据传输处理部件105,并且由原始数据传输处理部件105获取的同步数据被供应给实时同步处理部件106。所接收的同步数据为该摄像设备100提供了用于设置成像定时的同步定时设置数据。
输入/输出部件108具有用于连接光缆16的端子,在连接至该端子的光缆16上执行传输数据的处理,并且对光缆16上供应的接收数据执行处理。
基于所供应的同步数据,实时同步处理部件106控制成像器驱动部件103中的驱动定时,从而将图像传感器102设置为利用同步数据指示的定时执行成像处理。应该注意,由显像单元200供应的同步数据至少包括用于定义帧周期(frame period)的垂直同步分量。
经过原始数据校正部件104校正的原始数据被传递通过低通滤波器111以移除高频分量,并且作为结果的原始数据被供应给稀疏处理部件112以对像素进行稀疏处理,从而提供具有相对较低清晰度的视频数据。在稀疏处理部件112中获取的视频数据被供应给电子取景器(EVF)113以被显示。
下面描述作为用于对摄像设备100供应的原始数据进行处理的视频处理设备的显像单元200的示例性配置。
显像单元200具有控制显像单元200的每个部件单元的显像控制单元208。应该注意,显像控制单元208被配置为与摄像机控制部件107通信,以与其同步执行处理。
显像单元200具有连接光缆16的输入/输出部件209。连接至输入/输出部件209的原始数据传输处理部件201执行接收摄像设备100供应的原始数据的处理。由原始数据传输处理部件201接收并处理的原始数据被供应给RGB变换部件202,以被变换为具有由标准规定的格式的像素阵列的视频数据作为视频数据。更具体地,原始数据是依赖于摄像设备100的图像传感器102的像素阵列的视频数据,该视频数据被变换为具有对应于所规定的三原色R、G、B的像素阵列的序列的视频数据。该变换处理是通过利用相邻位置处的像素的数据进行插值执行的。如果补充缺少三原色像素的像素,则变换之前和之后的像素数目存在差别。
应该注意,由原始数据传输处理部件201获取的原始数据被无改变地从显像单元200输出并供应给第一记录设备12,以被记录在第一记录设备12中。
由RGB变换部件202获取的视频数据被供应给色彩失真校正部件203。色彩失真校正部件203逐像素地执行色彩校正,以使对于摄像设备100中的图像传感器102来说具有唯一性的色彩重现特性接近实际的色彩重现。
经过色彩失真校正部件203校正的视频数据被供应给图片质量调整部件204。色彩失真校正部件203利用诸如白电平、黑电平、伽马校正之类的用户设置执行这种图片质量调整。图片质量调整部件204可以通过在外部改变相应的参数来改变图片质量调整后的状态。
经过色彩失真校正部件203调整后的视频数据被供应给帧同步器204,以被暂存在帧同步器205的帧存储器中。所存储的视频数据被以规定的定时读取,以调整视频数据的输出定时。
由帧同步器205输出的视频数据被供应给伽马校正处理部件206,其中基于显示设备的伽马特性的校正处理在视频数据上被执行。然后,校正后的视频数据被输出。在这个示例中,所输出的视频数据被供应给高清晰度监视器14,以被显示在高清晰度监视器14上。同时,所输出的视频数据被供应给第二记录设备13,以被记录在第二记录设备13中。高清晰度监视器14是具有显示例如4K×2K信号的能力的监控显示器。
另外,经过伽马校正部件206校正的视频数据被供应给下变换部件210,以被变换为HD标准的视频数据。HD标准的视频每帧具有例如水平1920×垂直1080的像素数目。由下变换部件210进行的变换处理被以与实时同步处理部件207供应的同步数据同步的定时执行。经过下变换部件210变换的视频数据被输出到外部。在这个示例中,所输出的视频数据被供应给HD监视器15,以被显示在HD监视器15上。HD监视器15使具有显示HD标准的视频数据的能力的监视器显示器。
另外,显像单元200具有实时同步处理部件207,其中在视频处理在显像单元200中的每个部件中被执行时以帧为基础的同步被提供,从而提供控制以防止抖动的发生。
更具体地,与外部帧同步生成设备11供应的同步定时数据同步的同步数据由实时同步处理部件207生成。由实时同步处理部件207生成的同步数据经由原始数据传输处理部件201和输入/输出部件209被输出到光缆16,其中同步数据被传送给摄像设备100。
另外,经过下变换部件210下变换的视频数据被以与帧同步生成设备11供应的同步数据同步的定时被输出。另外,伽马校正处理部件206输出到外部的视频数据是与同一个同步定时数据同步的定时的视频数据。
(2)图像传感器和原始数据的示例性像素阵列的描述
下面参考图2A至图4B描述将在图1中所示的系统配置中执行的成像处理。
图2A示出了摄像设备100的图像传感器102的示例性像素阵列。在这个示例中,三原色的像素被排列在Bayer(贝尔)阵列中。更具体地,在某个水平行上,红色像素R和绿色像素G被以一个像素为基础交替排列。在下一水平行上,绿色像素G和蓝色像素B被以一个像素为基础交替排列。一对这样的两个水平行被重复。然而,排列有红色像素R的水平行上的绿色像素G和排列有蓝色像素B的水平行上的绿色像素G在垂直方向上相对移动。
这样的Bayer阵列导致有效的成像。
图2B中所示的图像传感器的像素阵列是三原色的像素被简单地排列用于参考的示例,并且不同于摄像设备100的图像传感器102的像素阵列。更具体地,红色像素R、绿色像素G、以及蓝色像素B被交替排列在每个水平行上。在图2B中所示的阵列的情况下,三原色像素被交替获取,从而使得用于输出的视频数据被利用该像素阵列无改变地提供。
在本实施例中,摄像设备100中生成的原始数据是没有改变的具有图2A中所示的像素阵列的视频数据。
更具体地,图3示出了原始数据的示例性配置。该原始数据具有垂直消隐间隔(V消隐间隔)、水平消隐间隔(H消隐间隔)、以及视频数据间隔。在视频数据间隔中,利用保留的图2A中所示的像素阵列以像素为基础对数据进行排列。例如,在一个像素的电平中,每个像素的数据由12比特或者14比特指示。
每个消隐间隔中的数据可以被以与一般视频数据的消隐间隔的数据相同的方式配置。
还可以通过摄像设备100的原始数据传输处理部件105执行电平压缩处理。更具体地,如图4A中所示,最初,原始数据的每个像素的数据被如下设置,在每个像素的输入电平和输出电平之间存在线性相关性。相反,如图4B中所示,比特长度可以被压缩,从而使得输入电平和输出电平之间存在非线性相关性。
如果可以在不进行比特长度压缩的情况下将原始数据传送给显像单元200,则优选这样做。这增强了显像单元200中的计算精确度,从而可以在监视器14和15上显示更高清晰度和更高色彩再现性的视频,并且可以将该视频数据记录在第一记录设备12和第二记录设备13上。
如上所述,根据本发明的系统配置,摄像设备100可以输出由图像传感器102获取的像素阵列没有改变的视频数据,从而消除诸如摄像设备100中的像素插值之类的变换处理的必要性。所以,用于对高清晰度的视频进行成像的摄像设备的配置可以被相对简单地配置。在该配置减小了摄像设备的大小和重量的同时,确保了摄像设备的移动性。另外,该配置有助于节省用于对高清晰度视频成像的摄像设备的功率消耗。
从摄像设备100输出的视频数据被变换为具有显像单元200规定的格式的视频数据,高清晰度的视频可以在连接至显像单元200的高清晰度监视器14上成像的同时被实时显示。该视频的记录也可以在连接至显像单元200的记录设备上被实时执行。
另外,在本发明的系统配置中,增强视频数据的图片质量的处理由显像单元200执行,从而使得各种类型的图片质量增强处理可以被执行,而不必改变摄像设备的配置。所以,基于难以结合在摄像设备中的相对复杂的算法的处理可以被简单地实现,并且这些算法的变型可以被相对简单地执行。
应该注意,在图1所示的配置中,设置了两个记录器,第一记录设备12和第二记录设备13;但是,也可以只设置这些记录设备之一。第一记录设备12记录无改变的原始数据,从而使得记录可以利用相对较小的数据量进行。第二记录设备13记录变换后的原始数据,从而例如使得所记录的视频数据可以被无改变地输出用于显示。
(3)另一个实施例的描述
下面参考图5描述本发明的另一个实施例。
参考图5,前面参考图1描述的类似部件由相同的参考标号表示。
在图5中所示的示例中,将在摄像设备100’的电子取景器113上显示的视频数据由显像单元200’供应。
更具体地,如图5中所示,由显像单元200’中的下变换部件210获取的具有HD标准的视频数据被供应给原始数据传输处理部件201’。然后,该具有HD标准的视频数据通过光缆16被传送给摄像设备100’。
接下来,摄像设备100’的原始数据传输处理部件105’向电子取景器113供应所接收的具有HD标准的视频数据,以用于显示。
其他部分被以基本与图1中所示的摄像设备100和显像单元200相同的方式配置。
在上述配置中,摄像设备100’的电子取景器113上显示的视频是经过显像单元200’的下变换获取的视频数据。所以,不同于图1中所示的示例,不需要设置获取将在电子取景器113上显示的视频数据所需的低通滤波器111和稀疏处理部件112,从而简化了摄像设备100的配置。
(4)实施例被应用于3D成像系统的示例的描述
下面参考图6描述将根据本实施例的成像系统应用于3D成像系统的示例。
在这种情况下,如图6中所示,设置了两个摄像设备:左通道摄像设备100L和右通道摄像设备100R。类似地,设置了两个显像单元:左通道显像单元200L和右通道显像单元200R。
摄像设备100L和100R分别被以与图1中所示的摄像设备100(或者图5中所示的摄像设备100’)相同的配置方式配置。类似地,显像单元200L和200R分别被以与图1中所示的显像单元200(或者图5中所示的显像单元200’)相同的方式配置。
左通道摄像设备100L和左通道显像单元200L通过光缆相互连接,其中左通道原始数据通过光缆被从左通道摄像设备100L供应给左通道显像单元200L。类似地,右通道摄像设备100R和右通道显像单元200R通过光缆相互连接,其中右通道原始数据通过光缆被从右通道摄像设备100R供应给右通道显像单元200R。
在左通道显像单元200L和右通道显像单元200R上,基于帧同步生成设备21供应的同步数据执行同步处理。左通道摄像设备100L进行的成像和右通道摄像设备100R进行的成像也被同步。
经过左通道显像单元200L中的变换获取的视频数据和经过右通道显像单元200R中的变换获取的视频数据被供应给3D记录设备22,以被记录在该记录设备中。替代地,左通道原始数据和右通道原始数据可以被供应给3D记录设备22,以被记录在该记录设备中。
另外,经过左通道显像单元200L中的变换获取的视频数据和经过右通道显像单元200R中的变换获取的视频数据被供应给高清晰度3D监视器23,以被以三维方式显示。类似地,经过左通道显像单元200L中的下变换获取的HD标准的视频数据和经过右通道显像单元200R中的下变换获取的HD标准的视频数据被供应给HD标准3D监视器24,以被显示在该监视器上。
图6中所示的上述系统提供了有效地同步执行用于三维显示的高清晰度视频的成像的效果。
应该注意,监视器23和24可以是不用于三维显示的一般监视器。在这种情况下,通道之一被选择性地显示,或者两个通道的视频被逐边显示。
(5)变型的描述
应该注意,以上参考附图描述的配置只是说明性的,所以不限于此。
例如,作为摄像设备的图像传感器的像素真理的图2A中所示的Bayer阵列仅是一个示例。所以,具有其他阵列的图像传感器也可用。
显像单元200中的处理配置可以缺少一个以上部件。帧同步生成设备11和21与显像单元200相分离。还可以利用帧同步生成设备11和21、以及显像单元200来在其中生成同步数据。
图6中所示的3D成像系统被作为具有两个以上摄像设备的示例性系统配置呈现。本发明也可应用于由两个以上摄像设备配置的其他多摄像机系统。
本申请涉及于2010年3月31日在日本专利局递交的日本优先权专利申请JP 2010-080360的主题,其全部内容通过引用结合于此。
本领域技术人员将该理解,在不脱离所附权利要求及其等同物的范围的条件下,可以根据设计要求和其他因素作出各种修改、组合、子组合、以及改变。

Claims (10)

1.一种摄像系统,包括:
摄像设备,所述摄像设备具有:
图像传感器,被配置为包括以预定阵列排列的像素并输出具有与所述像素的阵列相对应的像素序列的成像信号,
校正部件,被配置为将从所述图像传感器输出的成像信号校正为具有所述像素序列的视频数据,
第一传输处理部件,被配置为向从所述校正部件输出的视频数据添加同步数据,以将结果数据输出到外部,以及
同步处理部件,被配置为基于通过所述第一传输处理部件接收的同步定时设置数据来控制通过所述图像传感器进行成像的定时;以及
视频处理设备,所述视频处理设备具有:
第二传输处理部件,被配置为接收从所述第一传输处理部件输出的视频数据,并输出要被传送至所述第一传输处理部件的同步定时设置数据,以及
变换部件,被配置为对通过所述第二传输处理部件接收的视频数据执行像素插值,从而将插值后的视频数据变换为具有视频格式所规定的像素阵列的视频数据,其中
所述视频处理设备输出通过所述变换部件的变换而获得的视频数据。
2.根据权利要求1所述的摄像系统,其中,所述视频处理设备具有:
下变换部件,被配置为执行下变换处理,以减少通过所述变换部件的变换而获得的视频数据的像素数目;并且
经过所述下变换部件的下变换的视频数据提供与从所述第二传输处理部件输出的同步定时设置数据同步的视频数据。
3.根据权利要求2所述的摄像系统,其中
经过所述视频处理设备的所述下变换部件的下变换的视频数据被从所述第二传输处理部件传送至所述第一传输处理部件,并且
所述摄像设备显示通过所述第一传输处理部件接收的下变换后的视频数据。
4.根据权利要求1所述的摄像系统,其中
从所述视频处理设备的所述第二传输处理部件传送至所述摄像设备的所述第一传输处理部件的同步定时设置数据包括垂直同步分量。
5.根据权利要求1所述的摄像系统,其中
设置有两个所述摄像设备和两个所述视频处理设备,所述两个摄像设备获取的视频数据提供用于三维显示的数据,并且所述用于三维显示的数据分别由所述两个视频处理设备相互同步地处理。
6.根据权利要求1所述的摄像系统,其中
所述摄像设备还具有
稀疏部件,被配置为对从所述校正部件输出的视频数据的像素进行稀疏处理;以及
显示部件,被配置为显示具有经过所述稀疏部件的稀疏处理后的像素的视频数据。
7.一种摄像设备,包括:
图像传感器,被配置为包括以预定阵列排列的像素,并输出具有与所述像素的阵列相对应的像素序列的成像信号;
校正部件,被配置为将从所述图像传感器输出的成像信号校正为具有所述像素序列的视频数据;
传输处理部件,被配置为向从所述校正部件输出的视频数据添加同步数据,以将结果数据输出到外部;以及
同步处理部件,被配置为基于通过所述传输处理部件接收的同步定时设置数据来控制通过所述图像传感器进行成像的定时。
8.根据权利要求7所述的摄像设备,还包括:
稀疏部件,被配置为对从所述校正部件输出的视频数据的像素进行稀疏处理;以及
显示部件,被配置为显示具有经过所述稀疏部件的稀疏处理后的像素的视频数据。
9.一种视频处理设备,包括:
传输处理部件,被配置为接收从摄像设备输出的视频数据,并输出要被传送至所述摄像设备的同步定时设置数据;
变换部件,被配置为对通过所述传输处理部件接收的视频数据执行像素插值,从而将插值后的视频数据变换为具有视频格式所规定的像素阵列的视频数据;以及
输出部件,被配置为输出通过所述变换部件的变换而获得的视频数据。
10.根据权利要求9所述的视频处理设备,还包括:
下变换部件,被配置为执行下变换处理,以减少通过所述变换部件的变换而获得的视频数据的像素数目,其中
经过所述下变换部件的下变换处理的视频数据提供与从所述传输处理部件输出的同步定时设置数据同步的视频数据。
CN2011100755811A 2010-03-31 2011-03-24 摄像系统、视频处理设备和摄像设备 Pending CN102209187A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010080360A JP2011216948A (ja) 2010-03-31 2010-03-31 カメラシステム、映像処理装置及びカメラ装置
JP2010-080360 2010-03-31

Publications (1)

Publication Number Publication Date
CN102209187A true CN102209187A (zh) 2011-10-05

Family

ID=44697830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100755811A Pending CN102209187A (zh) 2010-03-31 2011-03-24 摄像系统、视频处理设备和摄像设备

Country Status (7)

Country Link
US (11) US8711253B2 (zh)
JP (1) JP2011216948A (zh)
KR (1) KR20110109905A (zh)
CN (1) CN102209187A (zh)
BR (1) BRPI1100932A2 (zh)
RU (1) RU2011111080A (zh)
TW (1) TW201215121A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856758A (zh) * 2012-11-29 2014-06-11 安讯士有限公司 用于生成实时动态视频的方法及系统
CN104703028A (zh) * 2013-12-10 2015-06-10 深圳市朗驰欣创科技有限公司 一种视频帧纠正方法、装置及系统

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011216948A (ja) 2010-03-31 2011-10-27 Sony Corp カメラシステム、映像処理装置及びカメラ装置
JP5821300B2 (ja) 2011-06-07 2015-11-24 ソニー株式会社 撮像装置及び撮像方法
US9389678B2 (en) * 2012-05-15 2016-07-12 Nvidia Corporation Virtual image signal processor
JP5749406B2 (ja) * 2012-08-23 2015-07-15 富士フイルム株式会社 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
JP6178099B2 (ja) 2013-04-05 2017-08-09 ソニー株式会社 中間ユニットおよびカメラシステム
US9729817B2 (en) * 2013-11-05 2017-08-08 Avago Technologies General Ip (Singapore) Pte. Ltd. Parallel pipelines for multiple-quality level video processing
WO2015125405A1 (ja) 2014-02-19 2015-08-27 ソニー株式会社 撮像装置、撮像方法および撮像システム
JP6270555B2 (ja) * 2014-03-07 2018-01-31 キヤノン株式会社 画像処理システム、撮像装置及びその制御方法
EP3116227A4 (en) * 2014-05-08 2017-08-16 Olympus Corporation Video processor and method for operating video processor
EP2950058B1 (en) 2014-05-28 2018-03-28 Axis AB Calibration data in a sensor system
JP6243296B2 (ja) * 2014-05-30 2017-12-06 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像生成装置、放射線断層撮影装置及びプログラム
EP3206130B1 (en) 2014-07-01 2018-01-31 Axis AB Methods and devices for finding settings to be used in relation to a sensor unit connected to a processing unit
JP2016195309A (ja) * 2015-03-31 2016-11-17 日鉄住金テックスエンジ株式会社 データ処理装置、データ処理方法、プログラム及び記憶媒体
CA3067011A1 (en) 2016-06-17 2017-12-21 Axon Enterprise, Inc. Systems and methods for aligning event data
CN105898283A (zh) * 2016-06-21 2016-08-24 北京奇虎科技有限公司 同步拍摄电路、装置和方法
JP6819208B2 (ja) * 2016-10-25 2021-01-27 ソニー株式会社 信号処理装置および方法、並びにプログラム
US10995152B2 (en) 2016-10-26 2021-05-04 The Board Of Trustees Of The Leland Stanford Junior University Modified immunoglobulin hinge regions to reduce hemagglutination
JP6311824B2 (ja) * 2017-04-25 2018-04-18 ソニー株式会社 中間ユニットおよびカメラシステム
RU2672136C1 (ru) * 2017-11-01 2018-11-12 Акционерное общество "ЭЛВИС-НеоТек" Видеокамера для получения и обработки видеоданных в формате 4k с обзором 360x360 градусов и способ ее функционирования
JP6967779B2 (ja) 2018-01-12 2021-11-17 ザインエレクトロニクス株式会社 映像信号受信モジュールおよび映像信号送受信システム
CN108347577B (zh) * 2018-02-05 2021-04-27 清华-伯克利深圳学院筹备办公室 一种成像系统和方法
JP6516034B2 (ja) * 2018-03-15 2019-05-22 ソニー株式会社 中間ユニットおよびカメラシステム
JP6687146B2 (ja) * 2019-04-18 2020-04-22 ソニー株式会社 中間ユニットおよびカメラシステム
JP7114807B2 (ja) * 2019-05-31 2022-08-08 富士フイルム株式会社 画像処理装置、画像処理方法、および画像処理プログラム
CN110166798B (zh) * 2019-05-31 2021-08-10 成都东方盛行电子有限责任公司 一种基于4k hdr编辑的下变换方法及装置
JP6883229B2 (ja) * 2020-03-30 2021-06-09 ソニーグループ株式会社 中間ユニットおよびカメラシステム
CN113450245B (zh) * 2021-05-11 2024-02-06 中天恒星(上海)科技有限公司 图像处理方法、装置、芯片以及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1135275A (zh) * 1994-07-29 1996-11-06 索尼公司 摄像装置和摄像系统
CN1512765A (zh) * 1999-08-03 2004-07-14 ������������ʽ���� 数码相机
US20080246859A1 (en) * 1998-07-17 2008-10-09 Yoichi Mizutani Imaging apparatus

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155104A (ja) 1996-11-22 1998-06-09 Canon Inc 複眼撮像方法及び装置並びに記憶媒体
JP2000261830A (ja) 1999-03-10 2000-09-22 Technol Res Assoc Of Medical & Welfare Apparatus 立体映像撮影装置
JP4385844B2 (ja) * 2004-04-23 2009-12-16 ソニー株式会社 固体撮像装置および固体撮像装置の駆動方法
JP4517745B2 (ja) 2004-06-25 2010-08-04 ソニー株式会社 データ送信装置及びデータ受信装置
JP2006181021A (ja) 2004-12-27 2006-07-13 Media Technology:Kk 電子内視鏡装置
JP4744394B2 (ja) 2006-08-18 2011-08-10 オリンパスメディカルシステムズ株式会社 立体撮像装置を搭載する観察装置及び立体撮像方法
US8237830B2 (en) * 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
WO2008128205A1 (en) * 2007-04-13 2008-10-23 Presler Ari M Digital cinema camera system for recording, editing and visualizing images
US8350940B2 (en) * 2009-06-08 2013-01-08 Aptina Imaging Corporation Image sensors and color filter arrays for charge summing and interlaced readout modes
US8611414B2 (en) * 2010-02-17 2013-12-17 University-Industry Cooperation Group Of Kyung Hee University Video signal processing and encoding
JP2011216948A (ja) * 2010-03-31 2011-10-27 Sony Corp カメラシステム、映像処理装置及びカメラ装置
GB2499841B (en) * 2012-03-02 2015-08-26 Canon Kk Methods for encoding and decoding an image, and corresponding devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1135275A (zh) * 1994-07-29 1996-11-06 索尼公司 摄像装置和摄像系统
US20080246859A1 (en) * 1998-07-17 2008-10-09 Yoichi Mizutani Imaging apparatus
CN1512765A (zh) * 1999-08-03 2004-07-14 ������������ʽ���� 数码相机

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103856758A (zh) * 2012-11-29 2014-06-11 安讯士有限公司 用于生成实时动态视频的方法及系统
CN104703028A (zh) * 2013-12-10 2015-06-10 深圳市朗驰欣创科技有限公司 一种视频帧纠正方法、装置及系统
CN104703028B (zh) * 2013-12-10 2017-09-12 深圳市朗驰欣创科技有限公司 一种视频帧纠正方法、装置及系统

Also Published As

Publication number Publication date
US10237514B2 (en) 2019-03-19
US20200154075A1 (en) 2020-05-14
US10582151B2 (en) 2020-03-03
US9531991B2 (en) 2016-12-27
US20160088256A1 (en) 2016-03-24
US9686503B2 (en) 2017-06-20
US20160234458A1 (en) 2016-08-11
US20190387196A1 (en) 2019-12-19
US20170230613A1 (en) 2017-08-10
TW201215121A (en) 2012-04-01
KR20110109905A (ko) 2011-10-06
JP2011216948A (ja) 2011-10-27
US20130286258A1 (en) 2013-10-31
US8711253B2 (en) 2014-04-29
US9621842B2 (en) 2017-04-11
US20160014334A1 (en) 2016-01-14
US8934022B2 (en) 2015-01-13
US20130286243A1 (en) 2013-10-31
US11025857B2 (en) 2021-06-01
US20140267857A1 (en) 2014-09-18
US9148550B2 (en) 2015-09-29
US20190174091A1 (en) 2019-06-06
US9172852B2 (en) 2015-10-27
US20110242370A1 (en) 2011-10-06
BRPI1100932A2 (pt) 2012-08-07
RU2011111080A (ru) 2012-09-27
US10455190B2 (en) 2019-10-22

Similar Documents

Publication Publication Date Title
CN102209187A (zh) 摄像系统、视频处理设备和摄像设备
US11457157B2 (en) High dynamic range processing based on angular rate measurements
US11694372B2 (en) Non-linear color correction
US20120081519A1 (en) Combining data from multiple image sensors
US20110242356A1 (en) Combining data from multiple image sensors
US10721412B2 (en) Generating long exposure images for high dynamic range processing
CN103813124A (zh) 图像处理装置和图像处理方法
KR101012585B1 (ko) 다채널 영상 정합 시스템 및 그 방법
US20220021852A1 (en) Color fringing processing independent of tone mapping
US9077841B2 (en) Video processing apparatus and video processing method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111005