CN1465192A - 和摄像机组合的视频记录/再现装置及其记录控制方法 - Google Patents

和摄像机组合的视频记录/再现装置及其记录控制方法 Download PDF

Info

Publication number
CN1465192A
CN1465192A CN02802447A CN02802447A CN1465192A CN 1465192 A CN1465192 A CN 1465192A CN 02802447 A CN02802447 A CN 02802447A CN 02802447 A CN02802447 A CN 02802447A CN 1465192 A CN1465192 A CN 1465192A
Authority
CN
China
Prior art keywords
recording
image
camera
control
target information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN02802447A
Other languages
English (en)
Other versions
CN1212018C (zh
Inventor
小岛政昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1465192A publication Critical patent/CN1465192A/zh
Application granted granted Critical
Publication of CN1212018C publication Critical patent/CN1212018C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Abstract

本发明提供了一种和摄像机组合的视频记录/再现装置及其记录控制方法，适用于按照要被拍摄的活动图像的性质和特性控制目标信息量。目标信息量控制微机(7)利用目标位速率控制编码和压缩装置(10)，从而对来自滤波计算单元(4)的活动图像数据进行预定的压缩编码，从而产生编码的位流。指定滤波计算单元(4)一个滤波器系数，以便把活动图像数据转换成适合于编码的清晰度的数据。

Description

和摄像机组合的视频记录/再现装置及其记录控制方法
发明领域
本发明涉及一种和摄像机(camara)组合的视频记录/再现装置，用于信号将照片图像编码，然后把所述图像记录在预定的记录介质上。更具体地说，本发明涉及一种和摄像机组合的视频记录/再现装置的记录控制方法，用于根据在成像单元中设置成像条件的成像控制数据对被成像的目标的图像数据进行合适质量的压缩编码，从而实现最佳的图像控制处理。
背景技术
MPEG2(活动图像专家组阶段2)是一种用于广播和AV设备的编码系统，并且被广泛地用作用来压缩信息例如图像、伴音、语音和数据的技术。
MPEG2的标准型式的压缩和编码装置使得能够在解压之后达到改进的图像质量，其中通过对输入的图像进行一次编码，从而主要从产生的信息量中提取图像的复杂部分和运动，并确定图像的特征，从而按照所述特征进行编码控制。
不过，基于运动检测的常规的编码控制当考虑实际的拍摄情况时具有以下的缺点。例如，图像相关性的检测结果不能表示在聚焦在涉及相当大的运动的场景上的拍摄和非特意的缩放场景例如摇摄全景的拍摄之间的差别，其和涉及相当大的运动的场景的拍摄具有近似的复杂部分。
因而，如果适用于进行基于运动检测的压缩和编码装置被应用于和利用具有有限记录容量的盘介质的摄像机组合的视频记录/再现装置，则需要总是对要拍摄的每一场景指定最大的位速率，以便保持高的再现的图像质量。这不希望地缩短了在盘介质内的记录时间。
本发明的目的在于提供一种和摄像机组合的视频记录/再现装置，所述装置适用于按照要被拍摄的活动的图像的性质和特性进行目标信息量的校正控制，还涉及一种用于控制所述装置的控制方法。
发明内容
为此，本发明提供一种和摄像机组合的视频记录/再现装置，其适用于以压缩方式将拍摄的图像编码，并在预定的记录介质上记录图像信号。按照本发明的和摄像机组合的视频记录/再现装置由下述装置构成：第一控制装置，用于执行摄像机镜头的驱动、曝光的调节和白平衡或摄像机晃动的检测，以便校正图像信号；第二控制装置，用于控制摄像机的拍摄的开始和停止；以及第三控制装置，用于接收从所述第一和第二控制装置输出的多段拍摄控制信息，并确定要被拍摄的场景的重要性和拍摄环境，从而对于要在记录介质上记录的图像信号设置一个最佳的目标信息量。
为了向编码和压缩装置提供一个目标信息量，按照本发明的和摄像机组合的视频记录/再现装置主要使用记录方式信号、关于变焦透镜位置的信息、聚焦的估算值、摄像机晃动检测值、圈入/出(iris in/out)量、摄像机信号增益量和白平衡控制量作为对目标信息量控制微机的输入信号和输入信息，因而，使得能够通过考虑实际的拍摄情况设置新的目标信息量。
附图说明
图1是表示按照本发明的和摄像机组合的视频记录/再现装置控制模型的方块图；
图2是表示MPEG2的标准模型的结构的方块图；
图3是表示目标信息量控制的一个例子的定时图；
图4是表示在低亮度下的目标信息量控制的一个例子的定时图；
图5是表示当检测到异常白平衡或摄像机的晃动时的目标信息量控制的一个例子的定时图；
图6是表示控制程序的一个例子的流程图(部分1)；
图7是表示控制程序的一个例子的流程图(部分2)；以及
图8是表示控制程序的一个例子的流程图(部分3)。
实施本发明的最好方式
现在参照附图说明按照本发明的实施例。
图1是表示包括各种控制微机或其类似物与压缩和编码装置的、和摄像机组合的视频记录/再现装置的控制模型的方块图。
透镜系统1由变焦透镜1z和聚焦透镜1f构成。来自目标的光通过透镜系统1的中间体输入到拍摄装置2上。在拍摄装置2中，根据相应于3种颜色即RGB(红绿蓝)的3个图像信号取得目标的图像。此时，这样控制透镜系统1的位置，使得其总是保持聚焦在目标上。来自拍摄装置2的图像信号作为活动的图像数据被发送给A/D转换器3，并且A/D转换器3把活动的图像数据转换成数字数据。
滤波计算单元4利用数字滤波器构成，并通过改变滤波系数控制频率元件的带通特性，借以实现预定的频率变换。根据来自编码和压缩装置10的位流将活动的图像数据记录在例如录像带等(未示出)的记录介质上。
摄像机晃动检测器5通过角速度检测器或其类似物输出摄像机晃动检测信号。摄像机控制微机6根据摄像机晃动检测信号进行摄像机晃动校正，从而防止图像质量的变劣。此外，除去摄像机晃动校正之外，摄像机控制微机6根据来自拍摄装置2的视频输入、用于最佳控制拍摄装置2的控制输出以及各个信号输入执行拍摄装置2内的光学系统的控制。此外，摄像机控制微机6还通过驱动变焦透镜1z和聚焦透镜1f执行变焦或其类似操作的控制。
目标信息量控制微机7借助于目标位速率控制编码和压缩装置10，从而对来自滤波计算单元4的活动的图像数据进行预订的压缩和编码，从而产生编码的位流。指定滤波计算单元4一个滤波器系数，从而把活动的图像数据转换成适用于编码的清晰度的数据。
人工接口控制计算机8主要通过来自用户的操作开关的输入控制记录的开始和停止以及关于记录经过的时间的信息，还控制向用户的显示。
在透镜系统1中，在变焦透镜1z和聚焦透镜1f之间设置有用于调节曝光的光圈(孔阑)9，由摄像机控制微机6调节要通过透镜系统1的中间体输入到拍摄装置2的来自目标的光量。
如同后面要详细说明的，来自摄像机控制微机6的信息，例如关于关于摄像机透镜位置的信息，关于曝光调节的信息，关于白平衡控制的信息，以及关于由角速度检测器检测的摄像机晃动的信息被输入到目标信息量控制微机7。此外，考虑到来自人工接口控制微机8的信息，例如用于控制摄像机的录像带的开始和停止的信息，以便命令编码和压缩装置10对拍摄场景进行最佳的编码控制，借以在具有有限记录容量的记录介质上以最佳的图像质量记录更多的活动图像。
图2是表示用于压缩数字图像信号的MPEG2标准模型的结构的电路方块图。
编码和压缩装置10输出借助于通过对滤波器输出单元4的中间体由A/D转换器3提供的活动图像数据编码获得的位流。更具体地说，构成编码和压缩装置10的离散余弦变换(DCT)单元11被配置用于对通过进行差值计算的加法器12的中间体提供的活动图像数据进行离散余弦变换，并把处理的数据提供给量化器13。量化器13量化来自DCT单元11的图像数据，并把量化的图像数据提供给可变长度编码器14和逆量化器(inverse-quantizer)15，
逆量化器15逆向量化由量化器13提供的量化的图像数据，并把处理的数据提供给逆DCT单元16。逆DCT单元16对来自逆量化器15的逆量化的图像数据进行逆DCT变换，然后把处理的数据提供给运动补偿器17。运动补偿器17对图像数据进行运动补偿，并向加法器12提供处理的数据。
可变长度编码器14对来自量化器13的图像数据进行可变长度编码，并把处理的图像数据提供给输出缓冲器18。输出缓冲器18暂时存储来自可变长度编码器14的图像数据，然后将所述图像数据提供给用于控制量化速率的速率控制器19。速率控制器19提供速率控制信号，用于根据来自目标信息量控制微机7的压缩控制信号对量化器13进行量化速率控制。
在上述结构的编码和压缩装置10中，这样进行编码控制，使得满足来自目标信息量控制微机7的目标信息量，从而使得能够输出高效率的、高度压缩的位流。不过，如前所述，常规的和摄像机组合的视频记录/再现装置一直被设计用于仅仅提取在编码和压缩装置中的图像的复杂部分和特征。因此，当考虑实际的拍摄情况时，不能在具有实际上相当大的场景的图像数据和非特意缩放(drawing)场景例如摇摄全景的图像数据之间进行区别，后者与具有大的运动的场景具有相似的复杂度。
在向编码和压缩装置10提供目标信息量时，按照本发明的和摄像机组合的视频记录/再现装置解决了现有技术中的问题，其中主要通过使用记录方式信号、关于变焦透镜位置的信息、聚焦估算值、摄像机晃动检测值、圈入/出量、摄像机信号增益量和白平衡控制量作为输入信号，并把信息提供给目标信息量控制微机7，使得通过考虑实际拍摄情况设置一个新的目标信息量。更具体地说，对于涉及相当大的运动的特意拍摄场景，不由滤波计算单元4实行带宽的限制，并且可以被指定给足够的位速率以便维持图像质量。当非特意拍摄的图像数据被输入时，例如在摇摄全景期间，所记录的图像的重要性是相当低的。因此，在这种情况下，有效的是，通过由滤波计算单元4限制带宽来进行记录，并且把位速率控制到一个低的值，使得防止图像质量在低的位速率下变劣。
可以予期上面讨论的不同类型的控制微机6，7和8能够提供类似的效果，即使它们被包括在一个IC或微机中。
下面详细说明在上述的和摄像机组合的视频记录/再现装置中在压缩图像时用于控制目标信息量的操作。
图3是表示目标信息量控制的一个例子的定时图。其中图(a)到(c)说明要被输入到目标信息量控制微机7的状态信息，图(d)和(e)分别表示从目标信息量控制微机7输出的目标位速率和滤波器系数的指令信号。
图3(a)表示记录方式信号的转换。
根据由用户通过人工接口控制微机8进行的操作确定记录方式信号。记录方式信号被分成两种操作方式，即，记录方式RM和备用方式SBM。在记录方式RM中，图像信号被记录在记录介质上。在备用方式SBM中，则不进行记录，尽管此时也输出摄像机图像。在时刻t2，备用方式SBM转换成记录方式RM，并且直到t7，一直继续记录方式。此后，备用方式SBM继续，直到时刻t8，然后，记录方式RM从时刻t8重新开始，一直持续到时刻t9。
图3(b)说明变焦透镜的位置的改变，图3(c)说明聚焦估算值的改变。
变焦透镜位置信号是根据借助于用户的操作而改变的透镜的位置从摄像机控制微机6输出的一种信号。在变焦范围内，透镜位置可以手动地或电动地被改变，从纵坐标方向的远距离拍摄距离(最大的焦距)到广角距离(最小焦距)。在图3(b)的定时图中，在变焦当中的变焦透镜的运动由在变焦范围内的斜线表示。在时刻t3，用户在记录期间把透镜的位置从广角距离转换到远距离拍摄距离，然后，在时刻t5，又转换回广角距离。
聚焦估算值表示当摄像机控制微机6移动聚焦透镜f1时投射到拍摄装置2的成像装置例如CCD上的图像的估算的对比度，其是作为归一化的数值表示的。在这种情况下，聚焦透镜的聚焦操作意味着进行控制使得增加所述估算值。通过实现聚焦来提高对比度，使投射的图像变得较鲜明。在时刻t1之前的备用方式SBM下，以及在从t3到t4和从t5到t6的变焦方式下，因为透镜处于聚焦当中，聚焦估算值小于最佳的对比度。
图3(d)所示的目标位速率被设置作为关于MPEG2标准模型的编码和压缩装置10的一个参数，其按照目标信息量控制微机7的控制算法根据输入信号和输入信息来确定。在MPEG2标准模型中，在其中可变地控制进行的内部计算，使得要被输出的位速率计算结果接近上述的设置值。
图3(e)所示的滤波器系数是滤波计算单元的一个参数，所述滤波计算单元在视频信号被输入到MPEG2标准模型的编码和压缩装置10之前对视频信号进行滤波，所述滤波系数按照目标信息量控制微机7的控制算法根据输入信号和输入信息来确定。通过把滤波器系数设置为一个较小的值，可以减少在滤波器计算中的清晰度。这使得能够减少要被输出的图像的信息量而不需降低目标位速率。
一般地说，人的眼睛的特征在于，凝视的强度低于当视线移动时的正常强度，因此输入所需的图像的最小鲜明程度。这是为了减少疲劳和不舒服程度。因而，可以假定，在从t3到t4或其类似的变焦操作期间，以及在尝试实现聚焦的期间，对图像的注意程度较低。
更具体地说，在这种拍摄条件下，不需要获得具有比所需还要高的清晰度的鲜明图像。因此，根据从摄像机控制微机6对目标信息量控制微机7输入的状态信息，把目标位速率设置为一个低的值，如图3(d)所示，并把滤波器系数设置为一个小的值，如图3(e)所示，借以减少位速率的绝对数量。
拍摄者的注意程度一般在变焦之后立即增加，这是因为目标的帧(图像帧)发生了改变。因而，进行设置，使得在t4或t6完成聚焦或者在其中聚焦估算值超过一个阈值的类似操作之后立即增加在记录操作中的目标位速率和滤波器系数。此后，随着时间的推移，平均目标信息量被减少。这使得能够在有限容量的记录介质上以最佳的图像质量记录更多的运动图像。
图4是表示在较低的亮度下的目标信息量控制的一个例子的定时图。如同在图3所示的情况下那样，图4(a)-(c)表示要被输入到目标信息量控制微机7的状态信息，图4(d)和(e)分别表示从目标信息量控制微机7输出的目标位速率和滤波器系数的指令信号。
图4(a)表示记录方式的转换。在t1，备用方式SBM被转换到记录方式RM，并且记录方式一直持续到t5。此后，备用方式SBM持续到t6，然后，记录方式从t6重新开始，并且持续到t8。
在和摄像机组合的视频记录/再现装置的情况下，经常从注意力被集中到所需的图像上的时刻开始开始记录。这被用于从人工接口控制微机8向目标信息量控制微机7提供关于连续拍摄时间的信息，使得在t1到t6，即在开始记录之后立即指定相当大的目标信息量，来实现这一点。
此后，当记录被继续进行时，假定拍摄者和观看再现的图像的观众的注意程度随着时间的推移逐渐减少。如前所述，如果对图像的注意程度减少，则滤波计算单元4的滤波器系数被改变，并且除去高频分量，以便降低清晰度，使得进一步增加在下面的阶段在编码和压缩装置10中的压缩效率。这使得即使在较低的位速率下也能限制图像的劣化。为此，在从记录开始，例如从t4，记录方式程序一个预定的时间之后，目标信息量被控制，以便降低平均目标信息量。
图4(b)表示圈入/出量的改变，其根据关于目标曝光的信息而改变，图(c)表示摄像机信号增益量的改变。
圈入/出量和摄像机信号增益量由摄像机控制微机6检测的投射到成像装置上的图像的信号电平确定。在标准的摄像机中，光圈9在黑暗的房间或类似的环境中完全打开。摄像机信号增益量处于增益控制下，使得图像信号电平在拍摄装置2中的摄像机信号处理电路(未示出)中提供一个合适的信号量。
一般地说，在摄像机中，当摄像机信号处理电路的增益增加时，信号中的噪声分量也相应地增加。因此，在黑暗的房间或类似的环境中，圈入/出量被调节，以便控制信号电平，并且在光圈完全打开之后，则进行这样的控制，使得增加摄像机信号处理电路的增益。如果光圈完全打开，并且摄像机信号的增益量大，则可以认为拍摄是在低亮度下进行的拍摄。
例如，在光圈完全打开，并且摄像机信号增益量在t3开始增加进行记录的情况下，则图像是暗的，并且S/N较低。因此，即使降低清晰度并且位速率也被设置为一个较低的值时，也难于影响图像质量。类似地，从摄像机控制微机6向目标信息量控制微机7提供信息，从而降低位速率，并限制图像的变劣。
因而，在光圈9被打开，并且拍摄装置2的增益被增加的低亮度的环境中，可以利用从摄像机控制微机6提供的关于校正曝光的上述信息，借以正确地控制目标信息量。
图5是表示当检测到异常白平衡或摄像机晃动时目标信息量控制的一个例子的定时图。如同在图3所示的情况下那样，图5(a)到5(c)表示要被输入到目标信息量控制微机7的状态信息，图5(d)和(e)分别表示从目标信息量控制微机7输出的目标位速率和滤波器系数的指令信号。
图5(a)表示记录方式的转换。在t1，备用方式SBM转换到记录方式RM，并且记录方式持续到t2。此后，备用方式持续到t3，然后，记录方式从t3开始，一直持续到t8。
图5(b)表示白平衡控制量的改变。
白平衡控制量通过分析投射到成像装置上的图像的信号的颜色分量来确定，所述分析由摄像机控制微机6进行。通过白平衡控制，摄像机信号处理电路的颜色分量比被控制，使得相应于3种颜色RGB(红绿蓝)的3个图像信号的和是白色。不过，具有由于目标的亮度或者在环境中光源的改变等原因而暂时不能保持控制平衡的情况。当所述的值较大时，控制平衡较好。图5表示在t4到t5期间在白平衡控制中发生了异常状态。
当利用关于白平衡的信息时，如果白平衡的估算值偏离了黑体的辐射曲线，则图像来确定为不能接受的。这意味着不必以高的位速率记录图像。在从t3到t8的记录方式期间，如果例如在t4发现异常白平衡控制量，则可以把滤波器系数设置为一个小的值，以便降低清晰度，并且可以把位速率设置为一个较低的值。
图5(C)表示摄像机晃动检测值的改变。
摄像机晃动检测值根据提供在摄像机的透镜系统1的附近的摄像机晃动检测器5输出的信号来确定，并在摄像机控制微机6中被处理为归一化的值。已经认识到，这个值越大，透镜的晃动也越大。
为了利用摄像机放映活动目标的图像或全景图像，使摄像机沿水平和垂直方向移动，从而进行摇摄全景。在这种情况下，如从t6到t7的时间间隔所示，例如，摄像机晃动检测值将是一个超过阈值的大的值。在常规的摄像机控制微机中，认识到通过相关性检测和在时域内提取图像的特征，即使在摇摄静止全景期间，也涉及目标的大的运动，因此，命令编码和压缩装置10的目标信息量比需要的增加得较多。
在这种情况下，表示“根据摄像机晃动检测器5的输出正处于摇摄全景当中”的附加的信息被从摄像机控制微机6提供给目标信息量控制微机7，从而进行控制，使得不增加多于所需的目标信息量。此时，改变滤波计算单元4的滤波器系数并除去高频分量将在下一阶段进一步提高编码和压缩装置10的压缩效率，使得即使在低的位速率下，也能限制图像的变劣。
此外，如同在结合图3和图4所述的记录方式的转换的情况那样，在摇摄全景方式期间，对图像的注意的程度下降，因此不需要利用比所需较高的清晰度活动鲜明的图像。
如上所述，借助于目标信息量控制微机7从编码和压缩装置10输出的位流的绝对数量可以被减少，从而使得能够在具有有限的记录容量的介质中以合适的图像质量舒适地记录较多的活动图像。
下面说明用于控制目标信息量控制微机7的输入信号/输入信息的方法的一个特定的例子。
图6到图8是用于说明控制过程的一个例子的流程图。
在图6所示的步骤S1，在电源接通之后，立即设置目标信息量控制微机7中的初始值。在这步骤中设置的目标信息量的初始值是目标位速率和滤波器系数的初始值。
在步骤S2，从摄像机控制微机6输入表示摄像机的当前状态的信息。所述信息主要包括关于变焦透镜位置的信息、聚焦估算值、圈入/出量、摄像机信号增益量、白平衡控制量的改变以及摄像机晃动检测值。
在步骤S3，从人工接口控制微机8输入表示用户操作状态的信息。所述信息主要包括记录方式信号以及关于从记录开始所经过的时间的信息。
在步骤S4，根据记录方式信号，确定是否正在记录介质中进行记录。如果信号表示记录方式RM，则意味着装置处于记录当中，然后，执行步骤5的处理，或者如果信号表示备用方式SBM，则执行步骤S18的处理，使装置处于备用状态。这是因为，从把注意集中在要拍摄的图像上的瞬时开始，和摄像机组合的视频记录/再现装置便频繁地启动实际的记录。
在步骤S5，借助于连续拍摄时间T1的测量信号，确定从记录的开始所经过的时间。如果确定的结果表示测量点就在记录开始之后(T1≤K1)，则执行步骤S12的处理(图7)。如果确定结果表示从记录开始经过了充分长的时间(K2≤T1)，则执行步骤S15的处理(图8)。在其它情况下，(K＜T1＜K2)，执行步骤S6的处理。由常识得知，在预定时间内(＝K2)或者大于预定时间的无间断的连续记录引起拍摄者和将要观看再现的图像的观众的注意力(降低)。如图4所示，从在记录开始之后连续拍摄时间超过K2(＝t4-t1)的时间点，平均目标信息量被减少。
在步骤S6，根据圈入/出量和摄像机信号增益确定拍摄环境是否具有低的亮度。如果光圈9被完全打开，并且如果摄像机信号增益量最大(低亮度拍摄)，则执行步骤S15(图8)的处理。这是因为，借助于目标信息量控制微机7通过利用关于曝光校正的信息，假定预期在低亮度的环境中进行录像带记录，此时光圈9打开，并且成像装置2的增益增加。如果具有足够的亮度，则执行步骤S7的处理。
在步骤S7，根据关于白平衡的信息确定是否白平衡异常。如果确定白平衡异常，则程序执行步骤S15(图8)。这是因为，如果借助于目标信息量控制微机7使用关于白平衡的信息表示白平衡的估算值偏离黑体的辐射曲线，则确定为不可接受的图像。如果白平衡来确定为正常，则执行步骤S8的处理。
在步骤S8，根据摄像机晃动检测值确定摄像机是否正在摇摄全景。如果摄像机晃动检测值超过预定值，则确定摄像机正在摇摄全景，并且处理执行步骤S15(图8)。如果没有检测到摄像机晃动，则执行步骤S9的处理。
在步骤S9，通过检查变焦透镜的位置的改变确定摄像机是否正在变焦。如果摄像机正在变焦，则执行步骤S15的处理(图8)，或者如果摄像机没有变焦，则执行步骤S10的处理。
在步骤S10，检查聚焦估算值的大小，确定摄像机是否正在聚焦。如果聚焦估算值小于聚焦阈值，则确定摄像机正在聚焦，并且执行步骤S15的处理(图18)；否则，执行步骤S11的处理。这是因为拍摄者或类似人员对图像注意的程度在摇摄全景、变焦或聚焦的过程中是低的。特别是在摇摄全景期间，在常规的时域内的图像的相关的检测和特征的提取导致确定图像正在运动，使得目标信息量不被设置为比所需较高的值。
在步骤S11，确定在聚焦透镜的位置改变之后经过的时间T2。
如果确定结果表示测量点就在变焦开始之后(T2≤K3)，则执行步骤S12的处理(图7)，并且在其它情况下(K3＜T2)，则执行步骤S18的处理。这是因为在变焦开始之后对图像记录的注意程度立即增加，使得目标信息量被优选地增加。此后，随着时间的推移，注意的程度减少，使得平均目标信息量在经过的时间T2超过预定的时间K3的时间点减少。
在图7所示的步骤S12，确定目标位速率是否是最大值。如果确定结果表示是最大值，则执行步骤S13的处理；否则，执行步骤S14的处理。
在步骤S13，确定滤波器系数是否被设置为最大清晰度。如果确定结果表示是最大值，则执行步骤S18的处理(图6)；否则，执行步骤S14的处理。
在步骤S14，目标信息量被改变。更具体地说，目标位速率被设置为最大值，并且滤波器系数沿着清晰度增加的方向增加一级，然后执行步骤S18的处理(图6)。
在图8所示的步骤S15，确定目标位速率是否是最小值。如果确定结果表示是最小值，则执行步骤S16的处理；否则，执行步骤S17的处理。
在步骤S16，确定滤波器系数是否被设置为最小清晰度。如果确定结果表示是最小值，则执行步骤S18的处理(图6)；否则，执行步骤S17的处理。
在步骤S17，目标信息量被改变。更具体地说，目标位速率和滤波器系数都沿减少清晰度的方向减少一级，然后执行步骤S18的处理(图6)。
在步骤S18，处理等待一个预定时间，然后返回步骤S2。
就在接通电源之后经过预定的时间间隔开始上述流程的循环操作，并且当电源中断之后停止。循环时间可以任意设置；不过，为了控制MPEG2标准模型的目标信息量，在一个GOP(图像组)单元内改变位速率是困难的，因此需要设置一个等于其整数倍的时间。在确定步骤5，11等步骤中，通过在实际的拍摄条件下进行视野测试来决定常数K1到K3的大小。
因而，按照本发明的和摄像机组合的视频记录/再现装置及其控制方法的优点在于，其中考虑了来自用于驱动摄像机的透镜的控制微机的信息、曝光的调节、以及白平衡的检测和借助于角速度检测器检测的摄像机的晃动，并进行了校正，并且考虑了来自主要用于控制摄像机的拍摄的启动和停止的人工接口微机的信息，使得能够在MPEG2标准模型中对于特定的拍摄场景进行最佳的编码控制，借以使得能够在具有有限记录容量的记录介质内以最佳的图像质量记录更多的活动图像。

Claims (4)

1.一种和摄像机组合的视频记录/再现装置，用于以压缩方式将拍摄的图像编码，以便在预定的记录介质上记录图像信号，包括：
第一控制装置，用于执行镜头的驱动、曝光的调节和白平衡或摄像机晃动的检测，并校正图像信号；
第二控制装置，用于控制摄像机的拍摄的开始和停止；以及
第三控制装置，用于接收从所述第一和第二控制装置输出的多段拍摄控制信息，以便确定要被拍摄的场景的重要性和拍摄环境，从而对于要在记录介质上记录的图像信号设置一个最佳的目标信息量。
2.如权利要求1所述的和摄像机组合的视频记录/再现装置，其中所述第三控制装置包括根据MPEG2标准模型进行压缩和编码的装置。
3.如权利要求1所述的和摄像机组合的视频记录/再现装置，其中所述第三控制装置包括用于对要被编码的活动图像数据进行预处理的滤波装置。
4.一种用于和摄像机组合的视频记录/再现装置的记录控制方法，用于将拍摄的图像压缩和编码，并在预定的记录介质上记录图像信号，
其中要被以压缩方式编码的图像的目标信息量根据关于记录持续时间的信息和光学系统的拍摄控制信息来校正。
CNB028024478A 2001-06-07 2002-05-30 和摄像机组合的视频记录/再现装置及其记录控制方法 Expired - Fee Related CN1212018C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP172640/2001 2001-06-07
JP2001172640A JP3849461B2 (ja) 2001-06-07 2001-06-07 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
CN1465192A true CN1465192A (zh) 2003-12-31
CN1212018C CN1212018C (zh) 2005-07-20

Family

ID=19014228

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028024478A Expired - Fee Related CN1212018C (zh) 2001-06-07 2002-05-30 和摄像机组合的视频记录/再现装置及其记录控制方法

Country Status (7)

Country Link
US (1) US7349023B2 (zh)
EP (1) EP1404134B1 (zh)
JP (1) JP3849461B2 (zh)
KR (1) KR100893419B1 (zh)
CN (1) CN1212018C (zh)
DE (1) DE60227370D1 (zh)
WO (1) WO2002102085A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100518322C (zh) * 2005-03-14 2009-07-22 佳能株式会社 图像处理装置和方法
CN1848955B (zh) * 2005-04-15 2010-05-12 汤姆森许可贸易公司 用于记录数字数据的方法和设备
CN101305617B (zh) * 2005-11-09 2013-02-20 佳能株式会社 图像信号处理设备
CN106888355A (zh) * 2015-12-15 2017-06-23 安讯士有限公司 比特率控制器和用于限制输出比特率的方法
US11831985B2 (en) 2019-03-13 2023-11-28 Sony Semiconductor Solutions Corporation Camera and control method

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9113846B2 (en) 2001-07-26 2015-08-25 Given Imaging Ltd. In-vivo imaging device providing data compression
IL155175A (en) * 2003-03-31 2012-01-31 Given Imaging Ltd A diagnostic device that uses information thinning
US8369402B2 (en) * 2004-06-17 2013-02-05 Canon Kabushiki Kaisha Apparatus and method for prediction modes selection based on image formation
US8634458B2 (en) 2005-02-23 2014-01-21 Canon Kabushiki Kaisha Image processing apparatus
JP4817990B2 (ja) * 2005-08-17 2011-11-16 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4542011B2 (ja) * 2005-09-27 2010-09-08 富士通株式会社 カメラ及び手ぶれ補正方法及び手ぶれ補正プログラム
KR100770927B1 (ko) * 2005-11-14 2007-10-26 삼성전자주식회사 휴대용 단말기에서 영상을 촬영하는 방법
JP2007295370A (ja) * 2006-04-26 2007-11-08 Sony Corp 符号化装置および方法、並びにプログラム
TWI367457B (en) 2006-07-03 2012-07-01 Nippon Telegraph & Telephone Image processing method and apparatus, image processing program, and storage medium for storing the program
JP4834535B2 (ja) * 2006-12-22 2011-12-14 キヤノン株式会社 撮像装置
JP4901460B2 (ja) * 2006-12-26 2012-03-21 富士フイルム株式会社 撮影装置、方法およびプログラム
WO2008081813A1 (ja) * 2006-12-28 2008-07-10 Nippon Telegraph And Telephone Corporation 映像処理方法および装置、映像処理プログラム並びにプログラムを記録した記憶媒体
US8532199B2 (en) 2008-01-24 2013-09-10 Panasonic Corporation Dynamic image compression device
JP5780764B2 (ja) * 2011-01-17 2015-09-16 オリンパス株式会社 撮像装置
US9568985B2 (en) 2012-11-23 2017-02-14 Mediatek Inc. Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method
US10666925B2 (en) * 2015-04-29 2020-05-26 Adam S Rowell Stereoscopic calibration using a multi-planar calibration target
US10148964B2 (en) * 2016-11-03 2018-12-04 Ujet, Inc. Image quality management
KR102315524B1 (ko) * 2017-06-16 2021-10-21 한화테크윈 주식회사 영상의 비트레이트 조절 방법 및 영상 획득 장치
JP2021170690A (ja) * 2018-06-01 2021-10-28 ソニーグループ株式会社 画像処理装置および方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237363A (en) * 1989-08-31 1993-08-17 Minolta Camera Kabushiki Kaisha Camera system with lens movable in vertical direction to optical axis of photo-taking lens
US5221963A (en) * 1990-03-31 1993-06-22 Minolta Camera Kabushiki Kaisha Video camera having a video signal processing apparatus
JPH05130602A (ja) * 1991-11-07 1993-05-25 Canon Inc 端末装置
JPH05300506A (ja) * 1992-04-23 1993-11-12 Canon Inc 画像音声通信端末装置
JP3110557B2 (ja) * 1992-07-01 2000-11-20 キヤノン株式会社 カメラ制御装置
KR100195071B1 (ko) * 1992-07-14 1999-06-15 윤종용 디지탈 비디오신호 기록 재생방법 및 그 장치
JPH06205249A (ja) * 1992-10-22 1994-07-22 Konica Corp ビデオカメラ
JP3400506B2 (ja) * 1993-03-12 2003-04-28 オリンパス光学工業株式会社 画像処理装置
US6078751A (en) * 1994-04-27 2000-06-20 Canon Kabushiki Kaisha Image-shake correcting device
JPH0884327A (ja) * 1994-09-13 1996-03-26 Matsushita Electric Ind Co Ltd 画像通信装置及び画像通信方法
JP3525353B2 (ja) * 1994-09-28 2004-05-10 株式会社リコー デジタル電子スチル・カメラ
US5926209A (en) 1995-07-14 1999-07-20 Sensormatic Electronics Corporation Video camera apparatus with compression system responsive to video camera adjustment
US5835138A (en) * 1995-08-30 1998-11-10 Sony Corporation Image signal processing apparatus and recording/reproducing apparatus
JP3480206B2 (ja) * 1996-11-26 2003-12-15 ミノルタ株式会社 位置検出装置及びカメラ
US6404776B1 (en) * 1997-03-13 2002-06-11 8 × 8, Inc. Data processor having controlled scalable input data source and method thereof
JPH1141515A (ja) * 1997-07-24 1999-02-12 Minolta Co Ltd スチルカメラ
KR100265113B1 (ko) * 1997-08-06 2000-09-01 윤종용 방송프로그램녹화방법
JPH11187309A (ja) 1997-12-19 1999-07-09 Canon Inc 撮像装置及び撮像方法
JP4123567B2 (ja) * 1998-04-30 2008-07-23 ソニー株式会社 画像信号処理装置及び方法
JP4213297B2 (ja) * 1999-06-11 2009-01-21 富士フイルム株式会社 撮影装置
JP4616432B2 (ja) 1999-07-16 2011-01-19 富士フイルム株式会社 信号処理装置
JP4181705B2 (ja) * 1999-09-14 2008-11-19 キヤノン株式会社 撮像装置、画像処理方法、及びコンピュータ読み取り可能な記憶媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100518322C (zh) * 2005-03-14 2009-07-22 佳能株式会社 图像处理装置和方法
CN1848955B (zh) * 2005-04-15 2010-05-12 汤姆森许可贸易公司 用于记录数字数据的方法和设备
CN101305617B (zh) * 2005-11-09 2013-02-20 佳能株式会社 图像信号处理设备
CN106888355A (zh) * 2015-12-15 2017-06-23 安讯士有限公司 比特率控制器和用于限制输出比特率的方法
CN106888355B (zh) * 2015-12-15 2018-10-26 安讯士有限公司 比特率控制器和用于限制输出比特率的方法
US11831985B2 (en) 2019-03-13 2023-11-28 Sony Semiconductor Solutions Corporation Camera and control method

Also Published As

Publication number Publication date
EP1404134A4 (en) 2007-06-06
EP1404134A1 (en) 2004-03-31
JP2002369142A (ja) 2002-12-20
KR100893419B1 (ko) 2009-04-17
EP1404134B1 (en) 2008-07-02
CN1212018C (zh) 2005-07-20
WO2002102085A1 (fr) 2002-12-19
US20040008772A1 (en) 2004-01-15
KR20030029123A (ko) 2003-04-11
DE60227370D1 (de) 2008-08-14
JP3849461B2 (ja) 2006-11-22
US7349023B2 (en) 2008-03-25

Similar Documents

Publication Publication Date Title
CN1212018C (zh) 和摄像机组合的视频记录/再现装置及其记录控制方法
US8615140B2 (en) Compression of image data in accordance with depth information of pixels
US9565362B2 (en) Imaging apparatus and method for controlling the same
US7502560B2 (en) Image capturing apparatus, method for recording captured image data, and captured image data processing apparatus and method
US20110221920A1 (en) Digital photographing apparatus, method of controlling the same, and computer readable storage medium
US20090290645A1 (en) System and Method for Using Coded Data From a Video Source to Compress a Media Signal
US8531561B2 (en) Image processing apparatus, method for controlling image processing apparatus, and storage medium
US20100214445A1 (en) Image capturing method, image capturing apparatus, and computer program
EP2573758B1 (en) Method and apparatus for displaying summary video
US8004597B2 (en) Focusing control apparatus and method
CN1977532A (zh) 摄像装置及方法
CN112351280B (zh) 视频编码方法、装置、电子设备及可读存储介质
US9013603B2 (en) Image processing apparatus, image capture device, server and computer program, where captured movie image is written in the storage medium based on the shooting condition
KR101909126B1 (ko) 요약 동영상 디스플레이 방법 및 장치
US8040429B2 (en) Electronic apparatus having autofocus camera function
US7319489B2 (en) Camera with strobe light
CN1758714A (zh) 智能型图像处理闭路电视摄像机装置及其操作方法
JP2006197005A (ja) 画像符号化装置および符号化方法
JP3037961B2 (ja) 電子カメラ装置および画像データの符号化装置
JP2884092B2 (ja) スチルビデオカメラにおける画像変換装置
JP2005236603A (ja) 圧縮符号化用画像の撮影方法及び撮影画像符号化装置
US20010005451A1 (en) Image intermittent recording device and its method
JP2004289600A (ja) 画像符号化装置、画像符号化方法及びプログラム
JP2000196949A (ja) カメラ装置
JPH1118053A (ja) 画像データ処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20050720

Termination date: 20150530

EXPY Termination of patent right or utility model