CN1838737B - 帧速率变换装置、摇摄/倾斜判断装置及视频装置 - Google Patents

帧速率变换装置、摇摄/倾斜判断装置及视频装置 Download PDF

Info

Publication number
CN1838737B
CN1838737B CN200610059646.2A CN200610059646A CN1838737B CN 1838737 B CN1838737 B CN 1838737B CN 200610059646 A CN200610059646 A CN 200610059646A CN 1838737 B CN1838737 B CN 1838737B
Authority
CN
China
Prior art keywords
image
frame
action
surveyed area
pan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200610059646.2A
Other languages
English (en)
Other versions
CN1838737A (zh
Inventor
恒川法和
前中章弘
森幸夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN1838737A publication Critical patent/CN1838737A/zh
Application granted granted Critical
Publication of CN1838737B publication Critical patent/CN1838737B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种帧速率变换装置、摇摄/倾斜判断装置及视频装置。该帧速率变换装置备有：按动态图像的每个帧，根据由动作检测机构检测出的图像动作相关的信息，判断是否为摇摄或倾斜状态下的图像的摇摄/倾斜判断机构；对由摇摄/倾斜机构判断为不是摇摄或倾斜状态下的图像的帧，将图像的动作量设为0，对判断为是摇摄或倾斜状态下的图像的帧，从由动作检测机构检测出的图像动作相关的信息求出图像的动作量，将所得到的动作量作为图像的动作量而进行设定的动作量设定机构；以及根据由动作量设定机构在每帧设定的图像的动作量，生成帧速率变换所需的预测图像的预测图像生成机构。

Description

帧速率变换装置、摇摄/倾斜判断装置及视频装置
技术区域
本发明涉及用于变换动态图像的帧速率的帧速率变换装置、判断是否为处于摇摄或倾斜状态的图像的摇摄/倾斜判断装置、具备帧速率变换装置的视频装置及具备摇摄/倾斜判断装置的视频装置。在此，视频装置中包括数码、摄像机、电视接收机等。
背景技术
例如，在用数码相机拍摄动态图像时，记录在记录介质上的记录图像的帧速率是30帧/秒，由于再生图像的帧速率是60帧/秒，故在由记录图像生成再生图像时，进行帧速率变换处理。
作为现有的帧速率变化方法，如图15所示，有在记录图像的相邻的帧间插入其中时间较早的帧的方法。而且，还开发了在记录图像的相邻的帧间插入预测画面的方法(参照特开平9-200770号公报、特开2003-69961号公报)。但是，以往由于不考虑是否为摇摄(pan)或倾斜(tilt)时的视频就变换帧，故存在不能得到平滑的再生图像这一问题。
发明内容
本发明的目的在于：提供一种可得到平滑的再生图像的帧速率变换装置。
另外，本发明的目的在于：提供一种具有可得到平滑的再生图像的帧速率变换装置之视频装置。
此外，本发明的目的在于：提供一种可判断是否为处于摇摄或倾斜状态的摇摄/倾斜判断装置。
再有，本发明的目的在于：提供一种具有可判断是否为处于摇摄或倾斜状态的图像摇摄/倾斜判断装置之视频装置。
还有，本发明的目的在于：提供一种可生成不产生空白部分的预测图像的帧速率变换装置。
而且，本发明的目的在于：提供一种具有可生成不产生空白部分的预测图像的帧速率变换装置的视频装置。
根据本发明的第1帧速率变换装置，是对动态图像的帧速率进行变换的帧速率变换装置，其特征在于，备有：动作检测机构，其按作为要进行变换的对象的动态图像的每个帧，检测与图像动作相关的信息；摇摄/倾斜判断机构，其按所述动态图像的每个帧，根据由动作检测机构检测出的与图像动作相关的信息，判断是否为处于摇摄或倾斜状态的图像；动作量设定机构，其针对由摇摄/倾斜机构判断为不是摇摄或倾斜状态下的图像的帧，将图像的动作量设为0，针对判断为是摇摄或倾斜状态下的图像的帧，根据由动作检测机构检测出的与图像动作相关的信息设定图像的动作量；以及预测图像生成机构，其根据由动作量设定机构按每帧设定的图像的动作量，生成帧速率变换所需的预测图像。
根据本发明的第2帧速率变换装置，其是对动态图像的帧速率进行变换的帧速率变换装置，其特征在于，备有：动作检测机构，其按作为要进行变换的对象的动态图像的每个帧，检测与图像动作相关的信息；摇摄/倾斜判断机构，其按所述动态图像的每个帧，根据由动作检测机构检测出的与图像动作相关的信息，判断是否为处于摇摄或倾斜状态的图像；动作量设定机构，其针对由摇摄/倾斜机构判断为不是摇摄或倾斜状态下的图像的帧，将图像的动作量设为0，针对判断为是摇摄或倾斜状态下的图像的帧，根据由动作检测机构检测出的与图像动作相关的信息设定图像的动作量；时间方向平滑化机构，其在时间方向上对由动作量设定机构按每帧设定的图像动作量进行平滑化；以及预测图像生成机构，其根据由时间方向平滑化机构得到的图像的动作量，生成帧速率变换所需的预测图像.
在上述第1或第2帧速率变换装置中，作为动作检测机构，例如采用以下机构，其根据代表点匹配法，按每个设定在各帧的视频区域的多个动作向量检测区域，将动作向量、相关累积值的最小值及相关累积值的平均值，作为与图像的动作相关的信息进行检测。作为摇摄/倾斜判断机构，例如采用具备以下机构的装置：根据按每个动作向量检测区域检测出的相关累积值的平均值，特定各动作向量检测区域中、所检测出的动作向量的可靠性高的区域，并且计算所检测出的动作向量的可靠性高的检测区域数的机构；判断所检测出的动作向量的可靠性高的检测区域数是否在第1阈值以上的机构；在所检测出的动作向量的可靠性高的检测区域数小于第1阈值的情况下，判定为该帧没有进行摇摄/倾斜的机构；在所检测出的动作向量的可靠性高的检测区域数在第1阈值以上的情况下，根据针对动作向量的可靠性高的检测区域而检测出的相关累积值的平均值及相关累积值的最小值，特定动作向量的可靠性高的检测区域中、存在多种动作的检测区域和不存在多种动作的检测区域，并且计算存在多种动作的检测区域数的机构；判断存在多种动作的检测区域数是否小于第2阈值的机构；在存在多种动作的检测区域数在第2阈值以上的情况下，判定为该帧没有进行摇摄/倾斜的机构；以及在存在多种动作的检测区域数小于第2阈值的情况下，判定为该帧作了摇摄/倾斜的机构。
在上述第1或第2帧速率变换装置中，作为动作检测机构，例如采用以下机构，其根据代表点匹配法，按每个设定在各帧的视频区域的多个动作向量检测区域，将动作向量、相关累积值的最小值及相关累积值的平均值，作为与图像的动作相关的信息进行检测.作为摇摄/倾斜判断机构，例如采用具备以下机构的装置：根据按每个动作向量检测区域检测出的相关累积值的平均值，特定各动作向量检测区域中、所检测出的动作向量的可靠性高的区域，并且计算所检测出的动作向量的可靠性高的检测区域数的机构；判断所检测出的动作向量的可靠性高的检测区域数是否在第1阈值以上的机构；在所检测出的动作向量的可靠性高的检测区域数小于第1阈值的情况下，判定为该帧没有进行摇摄/倾斜的机构；在所检测出的动作向量的可靠性高的检测区域数为第1阈值以上的情况下，根据针对动作向量的可靠性高的检测区域而检测出的相关累积值的平均值及相关累积值的最小值，特定动作向量的可靠性高的检测区域中、存在多种动作的检测区域和不存在多种动作的检测区域，并且计算存在多种动作的检测区域数的机构；判断存在多种动作的检测区域数是否小于第2阈值的机构；在存在多种动作的检测区域数为第2阈值以上的情况下，判定为该帧没有进行摇摄/倾斜的机构；在存在多种动作的检测区域数小于第2阈值的情况下，根据针对动作向量的可靠性高且不存在多种动作的检测区域而检测出的动作向量，特定动作向量的可靠性高且不存在多种动作的检测区域中、有动作向量类似性的检测区域，并且计算有动作向量类似性的检测区域数的机构；判断判定为有动作向量类似性的检测区域数是否在第3阈值以上的机构；在判断为有动作向量类似性的检测区域数小于第3阈值的情况下，判定为该帧没有进行摇摄/倾斜的机构；以及在动作向量类似性高的检测区域数为第3阈值以上的情况下，判定为该帧作了摇摄/倾斜的机构.
根据本发明的第1视频装置，其中具备变换动态图像的帧速率的帧速率变换装置，其特征在于，帧速率变换装置备有：动作检测机构，其按作为要进行变换的对象的动态图像的每个帧，检测与图像动作相关的信息；摇摄/倾斜判断机构，其按所述动态图像的每个帧，根据由动作检测机构检测出的与图像动作相关的信息，判断是否为处于摇摄或倾斜状态的图像；动作量设定机构，其针对由摇摄/倾斜机构判断为不是摇摄或倾斜状态下的图像的帧，将图像的动作量设为0，针对判断为是摇摄或倾斜状态下的图像的帧，根据由动作检测机构检测出的与图像动作相关的信息设定图像的动作量；以及预测图像生成机构，其根据由动作量设定机构按每帧设定的图像的动作量，生成帧速率变换所需的预测图像。
根据本发明的第2视频装置，其中具备变换动态图像的帧速率的帧速率变换装置，其特征在于，帧速率变换装置备有：动作检测机构，其按作为要进行变换的对象的动态图像的每个帧，检测与图像动作相关的信息；摇摄/倾斜判断机构，其按所述动态图像的每个帧，根据由动作检测机构检测出的与图像动作相关的信息，判断是否为处于摇摄或倾斜状态的图像；动作量设定机构，其针对由摇摄/倾斜机构判断为不是摇摄或倾斜状态下的图像的帧，将图像的动作量设为0，针对判断为是摇摄或倾斜状态下的图像的帧，根据由动作检测机构检测出的与图像动作相关的信息设定图像的动作量；时间方向平滑化机构，其在时间方向上对由动作量设定机构按每帧设定的图像动作量进行平滑化；以及预测图像生成机构，其根据由时间方向平滑化机构得到的图像的动作量，生成帧速率变换所需的预测图像。
根据本发明的第1摇摄/倾斜判断装置，其是按动态图像的每个帧，判断是否为处于摇摄或倾斜状态的图像的摇摄/倾斜判断装置，其特征在于，备有：根据代表点匹配法，按动态图像的每个帧，分别针对设定在该帧的视频区域的多个动作向量检测区域，计算动作向量、相关累积值的最小值及相关累积值的平均值的机构；根据按每个动作向量检测区域检测出的相关累积值的平均值，特定各动作向量检测区域中、所检测出的动作向量可靠性高的区域，并且计算所检测出的动作向量的可靠性高的检测区域数的机构；判断所检测出的动作向量的可靠性高的检测区域数是否在第1阈值以上的机构；在所检测出的动作向量的可靠性高的检测区域数小于第1阈值的情况下，判定为该帧没有进行摇摄/倾斜的机构；在所检测出的动作向量的可靠性高的检测区域数为第1阈值以上的情况下，根据针对动作向量的可靠性高的检测区域而检测出的相关累积值的平均值及相关累积值的最小值，特定动作向量的可靠性高的检测区域中、存在多种动作的检测区域和不存在多种动作的检测区域，并且计算存在多种动作的检测区域数的机构；判断存在多种动作的检测区域数是否小于第2阈值的判断机构；在存在多种动作的检测区域数为第2阈值以上的情况下，判定为该帧没有进行摇摄/倾斜的机构；以及在存在多种动作的检测区域数小于第2阈值的情况下，判定为该帧作了摇摄/倾斜的机构。
根据本发明的第2摇摄/倾斜判断装置，其是按动态图像的每个帧，判断是否为处于摇摄或倾斜状态的图像的摇摄/倾斜判断装置，其特征在于，备有：根据代表点匹配法，按动态图像的每个帧，分别针对设定在该帧的视频区域的多个动作向量检测区域，计算动作向量、相关累积值的最小值及相关累积值的平均值的机构；根据按每个动作向量检测区域检测出的相关累积值的平均值，特定各动作向量检测区域中、所检测出的动作向量可靠性高的区域，并且计算所检测出的动作向量的可靠性高的检测区域数的机构；判断所检测出的动作向量的可靠性高的检测区域数是否在第1阈值以上的机构；在所检测出的动作向量的可靠性高的检测区域数小于第1阈值的情况下，判定为该帧没有进行摇摄/倾斜的机构；在所检测出的动作向量的可靠性高的检测区域数为第1阈值以上的情况下，根据针对动作向量的可靠性高的检测区域而检测出的相关累积值的平均值及相关累积值的最小值，特定动作向量的可靠性高的检测区域中、存在多种动作的检测区域和不存在多种动作的检测区域，并且计算存在多种动作的检测区域数的机构；判断存在多种动作的检测区域数是否小于第2阈值的判断机构；在存在多种动作的检测区域数为第2阈值以上的情况下，判定为该帧没有进行摇摄/倾斜的机构；在存在多种动作的检测区域数小于第2阈值的情况下，根据针对动作向量的可靠性高且不存在多种动作的检测区域而检测出的动作向量，特定动作向量的可靠性高且不存在多种动作的检测区域中、有动作向量类似性的检测区域，并且计算有动作向量类似性的检测区域数的机构；判断判定为有动作向量类似性的检测区域数是否在第3阈值以上的机构；在判断为有动作向量类似性的检测区域数小于第3阈值的情况下，判定为该帧没有进行摇摄/倾斜的机构；以及在动作向量类似性高的检测区域数在第3阈值以上的情况下，判定为该帧作了摇摄/倾斜的机构.
根据本发明的第3视频装置，其中具备按动态图像的每个帧判断是否为处于摇摄或倾斜状态的图像的摇摄/倾斜判断装置，其特征在于，摇摄/倾斜判断装置备有：根据代表点匹配法，按动态图像的每个帧，分别针对设定在该帧的视频区域的多个动作向量检测区域，计算动作向量、相关累积值的最小值及相关累积值的平均值的机构；根据按各动作向量检测区域检测出的相关累积值的平均值，特定各动作向量检测区域中、所检测出的动作向量可靠性高的区域，并且计算所检测出的动作向量的可靠性高的检测区域数的机构；判断所检测出的动作向量的可靠性高的检测区域数是否在第1阈值以上的机构；在所检测出的动作向量的可靠性高的检测区域数小于第1阈值的情况下，判定为该帧没有进行摇摄/倾斜的机构；在所检测出的动作向量的可靠性高的检测区域数为第1阈值以上的情况下，根据针对动作向量的可靠性高的检测区域而检测出的相关累积值的平均值及相关累积值的最小值，特定动作向量的可靠性高的检测区域中、存在多种动作的检测区域和不存在多种动作的检测区域，并且计算存在多种动作的检测区域数的机构；判断存在多种动作的检测区域数是否小于第2阈值的判断机构；在存在多种动作的检测区域数为第2阈值以上的情况下，判定为该帧没有进行摇摄/倾斜的机构；以及在存在多种动作的检测区域数小于第2阈值的情况下，判定为该帧作了摇摄/倾斜的机构。
根据本发明的第4视频装置，其中具备按动态图像的每个帧判断是否为处于摇摄或倾斜状态的图像的摇摄/倾斜判断装置，其特征在于，摇摄/倾斜判断装置备有：根据代表点匹配法，按动态图像的每个帧，分别针对设定在该帧的视频区域的多个动作向量检测区域，计算动作向量、相关累积值的最小值及相关累积值的平均值的机构；根据按各动作向量检测区域检测出的相关累积值的平均值，特定各动作向量检测区域中、所检测出的动作向量可靠性高的区域，并且计算所检测出的动作向量的可靠性高的检测区域数的机构；判断所检测出的动作向量的可靠性高的检测区域数是否在第1阈值以上的机构；在所检测出的动作向量的可靠性高的检测区域数小于第1阈值的情况下，判定为该帧没有进行摇摄/倾斜的机构；在所检测出的动作向量的可靠性高的检测区域数为第1阈值以上的情况下，根据针对动作向量的可靠性高的检测区域而检测出的相关累积值的平均值及相关累积值的最小值，特定动作向量的可靠性高的检测区域中、存在多种动作的检测区域和不存在多种动作的检测区域，并且计算存在多种动作的检测区域数的机构；判断存在多种动作的检测区域数是否小于第2阈值的判断机构；在存在多种动作的检测区域数为第2阈值以上的情况下，判定为该帧没有进行摇摄/倾斜的机构；在存在多种动作的检测区域数小于第2阈值的情况下，根据针对动作向量的可靠性高且不存在多种动作的检测区域而检测出的动作向量，特定动作向量的可靠性高且不存在多种动作的检测区域中、有动作向量类似性的检测区域，并且计算有动作向量类似性的检测区域数的机构；判断判定为有动作向量类似性的检测区域数是否在第3阈值以上的机构；在判断为有动作向量类似性的检测区域数小于第3阈值的情况下，判定为该帧没有进行摇摄/倾斜的机构；以及在动作向量类似性高的检测区域数在第3阈值以上的情况下，判定为该帧作了摇摄/倾斜的机构.
根据本发明的第3帧速率变换装置，其是对动态图像的帧速率进行变换的帧速率变换装置，其特征在于，备有：将动态图像内连续的2帧之一作为当前帧，将另一帧作为前帧，将在这些帧之间生成的帧作为预测帧，根据前帧图像和当前帧图像之间的图像动作量和帧速率，计算预测图像相对于前帧图像的偏离量，并且计算预测图像相对于当前帧图像的偏离量的机构；通过利用预测图像相对于前帧图像的偏离量来偏移前帧图像，从而生成由前帧图像不存在的第1空白部分和前帧图像存在的第1原图像部分构成的第1临时预测图像的机构；通过利用预测图像相对于当前帧图像的偏离量来偏移当前帧图像，从而生成由当前帧图像不存在的第2空白部分和当前帧图像存在的第2原图像部分构成的第2临时预测图像的机构；以及根据前帧图像、当前帧图像、第1临时预测图像及第2临时预测图像，生成预测图像的预测图像生成机构；预测图像生成机构在假定将第1临时预测图像和第2临时预测图像重叠的情况下，对第1临时预测图像内的第1空白部分中、第2临时预测图像内的第2原图像部分重叠的部分，由第2临时预测图像生成预测图像；对第2临时预测图像内的第2空白部分中、第1临时预测图像内的第1原图像部分重叠的部分，由第1临时预测图像生成预测图像；对第1空白部分和第2空白部分重叠的部分，由将当前帧图像和前帧图像加权相加后的图像生成预测图像，对第1临时预测图像内的第1原图像部分和第2临时预测图像内的第2原图像部分重合的部分，由第1临时预测图像或第2临时预测图像之一来生成预测图像。
根据本发明的第5视频装置，其中具备变换动态图像的帧速率的帧速率变换装置，其特征在于，帧速率变换装置备有：将动态图像内连续的2帧之一作为当前帧，将另一帧作为前帧，将在这些帧之间生成的帧作为预测帧，根据前帧图像和当前帧图像之间的图像动作量和帧速率，计算预测图像相对于前帧图像的偏离量，并且计算预测图像相对于当前帧图像的偏离量的机构；通过利用预测图像相对于前帧图像的偏离量来偏移前帧图像，从而生成由前帧图像不存在的第1空白部分和前帧图像存在的第1原图像部分构成的第1临时预测图像的机构；通过利用预测图像相对于当前帧图像的偏离量来偏移当前帧图像，从而生成由当前帧图像不存在的第2空白部分和当前帧图像存在的第2原图像部分构成的第2临时预测图像的机构；以及根据前帧图像、当前帧图像、第1临时预测图像及第2临时预测图像，生成预测图像的预测图像生成机构；预测图像生成机构在假定将第1临时预测图像和第2临时预测图像重叠的情况下，对第1临时预测图像内的第1空白部分中、第2临时预测图像内的第2原图像部分重叠的部分，由第2临时预测图像生成预测图像；对第2临时预测图像内的第2空白部分中、第1临时预测图像内的第1原图像部分重叠的部分，由第1临时预测图像生成预测图像；对第1空白部分和第2空白部分重叠的部分，由将当前帧图像和前帧图像加权相加后的图像生成预测图像，对第1临时预测图像内的第1原图像部分和第2临时预测图像内的第2原图像部分重合的部分，由第1临时预测图像或第2临时预测图像之一来生成预测图像.
附图说明
图1是表示数码相机的构成的框图。
图2是表示相对于亮度信号Y的手抖动修正及帧速率变换部5的构成的框图。
图3是表示向各帧存储器A、B、C写入和读出的定时的时间图。
图4是表示设定在各帧的视频区域100内的多个动作向量检测区域E1～E12的示意图。
图5是表示图4的各动作向量检测区域E1～E12内的小区域e的示意图。
图6是表示设定在图5的小区域e内的多个采样点S和1个代表点R的示意图。
图7是表示由摇摄/倾斜判断部17进行的摇摄/倾斜判断处理顺序的流程图。
图8是表示动作量控制部18构成的电路图。
图9是表示前帧图像F1、当前帧图像F2和预测图像F12的示意图。
图10是表示通过以一定的视频电平屏蔽预测图像F12中的空白最大范围而得到的输出图像的示意图。
图11表示无空白部分的预测图像生成方法的基本考虑方法。
图12是表示使预测图像Fx、第1临时预测图像F12和第2临时预测图像F21重合后的示意图。
图13是表示预测图像Fx内的区域Q1、Q2、R、T的配置模型种类的示意图。
图14是表示输出图像生成部19的构成例的框图。
图15是用于说明现有的帧速率变换方法的一例的示意图。
具体实施方式
以下，参照附图，对本发明的实施例进行说明。
[1]针对数码相机的构成的说明
图1示出了数码相机的构成。
CCD2对通过透镜1入射的光学图像进行光电变换，并作为电信号输出。CCD2的输出信号(RGB信号)被送至具有CDS电路和AGC电路的CDS/AGC电路3。输入到CDS/AGC电路3的CCD2的输出信号，在CDS电路中进行相关双重采样处理后，在AGC电路中增益调整为最佳的振幅。CDS/AGC电路3的输出信号，由摄像处理电路4变换为YUV信号。Y是亮度信号、U是表示(B-Y)的色差信号、V是表示(R-Y)的色差信号。
摄像处理电路4的输出信号(YUV信号)，在由手抖动修正及帧速率变换部5进行了手抖动修正处理后，被送至图像压缩电路6，在图像压缩电路6中，对手抖动修正处理后的信号(YUV信号)进行压缩处理.图像压缩电路6的输出信号被记录在记录媒体7上.
在使记录于记录媒体7上的压缩图像显示在电视接收机等上时，读出记录在记录媒体7上的压缩图像，并送至图像解压电路8。在图像解压电路8中，通过解压压缩图像，从而得到YUV信号。图像解压电路8的输出信号(YUV信号)，由手抖动修正及帧速率变换部5进行帧速率变换处理后，送至NTSC编码器9。在NTSC编码器9中，对帧速率变换处理后的信号(YUV信号)进行NTSC编码，作为外部输出而被输出。
[2]针对手抖动修正及帧速率变换部5的构成的说明
图2示出了针对亮度信号Y的手抖动修正及帧速率变换部5的构成。而且，由于亮度信号Y及各色差信号U、V的手抖动修正及帧速率变换部5的构成相同，故对针对亮度信号Y的构成进行说明。
[2-1]针对图像记录时的动作的说明
在记录所拍摄的图像时，由摄像处理电路4得到的亮度信号Y，通过选择器11写入到第1帧存储器(帧存储器A)12中。另外，写入到第1帧存储器12中的亮度信号Y，以规定的定时读出，写入到第2帧存储器(帧存储器B)13中。而且，写入到第2帧存储器13中的亮度信号Y，以规定的定时读出，写入到第3帧存储器(帧存储器C)14中。
从第1帧存储器12读出的亮度信号Y及从第2帧存储器13读出的亮度信号Y，被送至动作向量检测部15，检测动作向量等。由动作向量检测部15检测出的动作向量等，被送至动作修正部16。
从第3帧存储器14读出的亮度信号Y，被送至动作修正部16。在动作修正部16中，根据由动作向量检测部15检测出的动作向量等，对从第3帧存储器14读出的亮度信号Y进行动作修正。由动作修正部16进行动作修正后的亮度信号Y，被送至图像压缩电路6。
[2-2]针对图像再生时的动作的说明
下面，对由记录在记录媒体7上的压缩图像生成再生图像时的动作进行说明。
记录在记录媒体7上的压缩亮度信号，被送至图像解压电路8进行解压。由图像解压电路8得到的亮度信号Y，被送至手抖动修正及帧速率变换部5。从记录媒体7读出并由图像解压电路8得到的亮度信号Y的帧速率为30帧/秒。在手抖动修正及帧速率变换部5中，将从图像解压电路8送来的30帧/秒的亮度信号Y变换为60帧/秒的亮度信号Y。亦即，将帧速率变换为2倍。
从图像解压电路8送到手抖动修正及帧速率变换部5的亮度信号Y，通过选择器11，被写入第1帧存储器(帧存储器A)12中。另外，写入到第1帧存储器(帧存储器A)12的亮度信号Y，以规定的定时读出，写入第2帧存储器(帧存储器B)13中。此外，写入到第2帧存储器13的亮度信号Y，以规定的定时读出，写入第3帧存储器(帧存储器C)14。
从第1帧存储器12读出的亮度信号Y及从第2帧存储器13读出的亮度信号Y，被送至动作向量检测部15，检测动作向量等。由动作向量检测部15检测出的动作向量等，被送至摇摄/倾斜判断部17。摇摄/倾斜判断部17，根据由动作向量检测部15检测出的动作向量等，判断该帧是否为在摇摄或倾斜时拍摄的帧，根据该判断结果，计算该帧暂定的动作量MA。
由摇摄/倾斜判断部17计算出的暂定的动作量MA，被送至动作量控制部18.动作量控制部18，根据由摇摄/倾斜判断部17计算出的暂定的动作量MA及摇摄/倾斜判断部17的判断结果，计算生成预测图像时所用的动作量M.由动作量控制部18计算出的动作量M被送至输出图像生成部19.
从第2帧存储器13读出的亮度信号Y及从第3帧存储器14读出的亮度信号Y，被送至输出图像生成部19。输出图像生成部19，根据从第2帧存储器13读出的亮度信号Y及从第3帧存储器14读出的亮度信号Y以及由动作量控制部18计算出的动作量M，生成输出图像。由输出图像生成部19生成的输出图像，被送至NTSC编码器9。
由于用于帧速率变换的电路中的帧存储器12、13、14及动作向量检测部15，可采用用于手抖动修正电路中的帧存储器12、13、14及动作向量检测部15，故构成变得简单。
[3]针对图像再生时的动作的详细说明
以下，对图像再生时的动作进行详细说明。
[3-1]对向各帧存储器A、B、C写入和读出的定时的说明
图3示出了向各帧存储器A、B、C写入和读出的定时。而且，在图3中，信号EN是在原视频信号的每1帧产生的使能信号，信号SEL是用于控制动作量控制部18的动作量的选择信号。信号EN及信号SEL被提供给动作量控制部18。
[3-2]对动作向量检测部15的说明
动作向量检测部15，根据代表点匹配法，计算动作向量等。如图4所示，在各帧的视频区域100内，设定多个动作向量检测区域E1～E12。各动作向量检测区域E1～E12的大小相同。另外，各动作向量检测区域E1～E12，如图5所示，被分割为各小区域e。而且，如图6所示，分别在各小区域e内设定多个采样点S、和1个代表点R。
按每个动作向量检测区域E1～E12，求出当前帧中的小区域e内的各采样点S的视频信号电平(亮度电平)、和前帧中对应的小区域e内的代表点R的视频信号电平(亮度电平)之间的差(各采样点S中的相关值)。
而且，在每个动作向量检测区域E1～E12中，在动作向量检测区域内的所有小区域e间，累加计算相对于代表点R的偏差相同的采样点之间的相关值。因此，按照每个动作向量检测区域E1～E12，求取1个小区域e内的采样点S的数相应的相关累积值。
而且，在各动作向量检测区域E1～E12内，相关累积值为最小点的偏差、即相关性最高的偏差，作为该动作向量检测区域E1～E12的动作向量V而被抽出。
并且，在本实施例中，按照每个动作向量检测区域E1～E12，求出相关累积值的最小值MIN，同时按照每个动作向量检测区域E1～E12，求出相关累积值的平均值AVE。
[3-3]对摇摄/倾斜判断部17的说明
图7示出了由摇摄/倾斜判断部17进行的摇摄/倾斜判断处理顺序。
首先，特定动作向量检测区域中、所检测出的动作向量V的可靠性高的检测区域，同时求取所检测出的动作向量V的可靠性高的检测区域数T1(步骤S1)。
在亮度变化少的区域中，不能正确检测出动作向量。在亮度变化少的区域中，相关累积值的平均值AVE变小。因此，在相关累积值的平均值AVE比所定的阈值α大的情况下，判断为在该动作向量检测区域中检测出的动作向量V的可靠性高。
接着，判断所检测出的动作向量V的可靠性高的检测区域数T1是否在阈值θ1以上(步骤S2)。在所检测出的动作向量V的可靠性高的检测区域数T1小于阈值θ1的情况下，判定该帧没有进行摇摄/倾斜(步骤S7)，将该帧暂定的动作量MA设定为0(步骤S8).
在所检测出的动作向量V的可靠性高的检测区域数T1为阈值θ1以上的情况下，特定所检测出的动作向量V的可靠性高的检测区域中、存在多种动作的检测区域和不存在多种动作的检测区域，同时求出存在多种动作的检测区域数T2(步骤S3)。
在进行摇摄或倾斜的情况下，由于检测区域内的动作为1种，故求出所检测出的动作向量V的可靠性高的检测区域中、存在多种动作的检测区域数T2。在用相关累积值的最小值MIN除相关累积值的平均值AVE的值(AVE/MIN)比所定的阈值β大的情况下，判断为在该动作向量检测区域存在多种动作。
其后，判断存在多种动作的检测区域数T2是否小于阈值θ2(步骤S4)。在存在多种动作的检测区域数T2为阈值θ2以上的情况下，判断为该帧没有进行摇摄/倾斜(步骤S7)，将该帧暂定的动作量MA设定为0(步骤S8)。
在存在多种动作的检测区域数T2小于阈值θ2的情况下，在所检测出的动作向量V的可靠性高且不存在多种动作的检测区域中，特定存在动作向量的类似性的检测区域，同时求出存在动作向量的类似性的检测区域数T3(步骤S5)。
如下这样判断是否存在动作向量的类似性。首先，计算所检测出的动作向量V的可靠性高且不存在多种动作的检测区域的动作向量的平均值*V。而且，按照每个这些检测区域，判断动作向量V和平均值*V之差的绝对值|V-*V|是否比规定的阈值γ小，在小的情况下，在该动作向量检测区域中检测动作向量判断为：与由这些检测区域检测出的动作向量有类似性。
其后，判断判定为有动作向量类似性的检测区域数T3是否为阈值θ3以上(步骤S6)。在判定为有动作向量类似性的检测区域数T3小于θ3的情况下，判定该帧没有进行摇摄/倾斜(步骤S7)，将该帧暂定的动作量MA设定为0(步骤S8)。在动作向量的类似性高的检测区域数T3在θ3以上的情况下，判定该帧作了摇摄/倾斜(步骤S9)，将该帧暂定的动作量MA，设定为在上述步骤S5中特定的有动作向量类似性的检测区域(个数T3)的动作向量V的平均值(步骤S10)。
另外，也可省略步骤S5、S6的处理。亦即，在步骤4中，在判定为存在多种动作的检测区域数T2小于阈值θ2的情况下，也可判定为该帧作了摇摄/倾斜。在这种情况下，将该帧暂定的动作量MA，设定为在上述步骤S3中特定的不存在多种动作的检测区域的动作向量V的平均值。
[3-4]对动作量控制部18的说明
图8示出了动作量控制部18的构成。
动作量控制部18具有：将暂定的动作量MA按时间方向平滑化的平滑化电路20、输入平滑化电路20的输出MB和“0”的选择器30。作为控制信号，向选择器30输入选择信号SEL。
信号SEL如图3所示，在向动作向量检测部15输入不同的帧时(向输出图像生成部19输入相同的帧时)为“1”，在向动作向量检测部15输入相同的帧时(向输出图像生成部19输入不同帧时)为“0”。选择器30，当信号SEL为1时，将输入信号“0”作为实际的动作量M输出，当信号SEL为0时，将平滑化电路20的输出MB作为实际的动作量M输出。
平滑化电路20具有：乘法器21、加法器22、存储器23及乘法器24.将使能信号EN作为写入读出控制信号提供给存储器23.
由平滑化电路20将对应前1帧计算出的动作量设为MBt-1。对应前1帧计算出的动作量MBt-1，存储在存储器23中。
若将相对于当前帧的暂定的动作量MAt输入平滑化电路20，则乘法器21，将系数(1-η)乘以相对于当前帧的暂定的动作量MAt。另一方面，从存储器23读出对应前1帧计算出的动作量MBt-1，送至选择器30，同时送至乘法器24。乘法器24，将系数η乘以对应前1帧计算出的动作量MBt-1。
加法器22，对乘法器21的乘法运算结果(1-η)·MAt，相加乘法器24的乘法运算结果η·MBt-1。加法器22的加法运算结果(η·MBt-1+(1-η)·MAt)，作为对应当前帧计算出的动作量MBt而存储到存储器23中。
亦即，若设前帧和前前帧之间平滑后的动作量为MBt-1，设当前帧和前帧之间平滑后的暂定动作量为MAt，则当前帧和前帧之间平滑后的动作量MBt由下式(1)算出。
MBt＝η·MBt-1+(1-η)·MAt  ...(1)
在此，η为规定平滑化程度的系数，0≤η≤1。η越大，平滑化的程度就越强。若切换判定为作了摇摄/倾斜的帧和判定为没有进行摇摄/倾斜的帧，则出现视频上急剧的不同，成为不自然的动态图像。因此，如下式(2)所示，用判定为作了摇摄/倾斜的帧和判定为没有进行摇摄/倾斜的帧，切换η值。
判定为作了摇摄/倾斜的帧：η＝η1
判定为没有进行摇摄/倾斜的帧：η＝η2(η1＜η2)...(2)
[3-5]对输出图像生成部19的说明
输出图像生成部19，根据从帧存储器13、14输入的2个图像和由动作量控制部18提供的动作量M，生成输出图像。
在从帧存储器13、14输入的2个图像为相同帧的情况下，由于动作量M为0，故将这2个图像中的一方图像，作为输出图像输出。
在从帧存储器13、14输入的2个图像为不同帧的情况下，根据这些图像、由动作量控制部18提供的动作量M和预先设定的帧速率的变换倍率m，生成(m-1)幅预测图像。而且，将所得到的预测图像作为输出图像输出。在这种情况下，由于帧速率的变换倍率是2，故生成1幅预测图像。
将从帧存储器13、14输入的2个图像中的记录时刻早的图像称为前帧，将记录时刻晚的图像称为当前帧。
首先，根据下式(3)，计算出对应前帧图像的预测图像的偏离量Ct-1。其中，m＝2。
Ct-1＝M/m  ...(3)
而且，通过将前帧图像仅偏移偏离量Ct-1，从而生成预测图像。例如，如图9所示，若设前帧图像为F1、当前帧图像为F2，则通过将前帧图像F1仅移动偏离量Ct-1，从而生成预测图像F12。
根据下式(4)，计算对应当前帧图像的预测图像的偏离量Ct，通过将当前帧图像仅移动偏离量Ct，从而也可生成预测图像。
Ct＝-M/m  ...(4)
通过将前帧图像仅移动偏离量Ct-1而生成第1预测图像，同时通过将当前帧图像仅移动偏离量Ct而生成第2预测图像，通过将第1预测图像和第2预测图像加权相加，从而可以生成输出图像。
然而，在通过移动原帧图像而生成预测图像的情况下，在预测图像内产生原帧图像不存在的空白部分。预先求出这种空白产生部分的最大范围，如图10所示，最好通过用一定的视频电平(例如黑电平)屏蔽在预测图像F12中、空白的最大范围S，而生成输出图像。
再者，在帧速率变换的变换倍率m例如为3时，生成2个预测图像。在此情况下，对应前帧图像的第1预测图像的偏离量Ct-1为(1/3)×M，对应前帧图像的第2预测图像的偏离量Ct-1为(2/3)×M。
如上所述，在通过移动原帧的图像而生成预测图像的情况下，在预测图像内产生原帧图像不存在的空白部分。对生成这样的空白部分不会产生的预测图像的方法进行说明。
图11示出了预测图像生成方法的基本考虑方法。
在图11中，F1表示前帧图像，F2表示当前帧图像。
在此，用Ct表示对应前帧图像F1的预测图像的偏离量，用Ct+1表示对应当前帧图像F2的预测图像的偏离量。若设帧速率的变换倍率为m、由移动量控制部18提供的移动量为M，则Ct及Ct+1可由下式(5)计算。其中，在该例中m＝2。
Ct＝M/m
Ct+1＝-M/m    ...(5)
各偏离量Ct、Ct+1，由水平方向的偏离量Cti、C(t+1)i和垂直方向的偏离量Ctj、C(t+1)j构成。
设前帧图像F1向右侧偏离时的水平方向偏离量Cti的符号为正(plus)、前帧图像F1向下侧偏离时的垂直方向偏离量Ctj的符号为正(plus)。
在图11的例子中，对Cti及Ctj的符号都为正的情况进行说明。首先，生成将前帧图像F1仅偏移了偏离量Ct的第1临时预测图像F12。第1临时预测图像F12为将前帧图像F1向右侧仅偏离Cti且向下侧仅偏离Cij的图像。第1临时预测图像F12中的阴影部分S1，表示原帧图像F1不存在的空白部分。
其次，生成将当前帧图像F2仅偏移了偏离量Ct+1的第2临时预测图像F21。第2临时预测图像F21，为将当前帧图像F2向左侧仅偏离Cti且向上侧仅偏离Ctj的图像。第2临时预测图像F21中的阴影部分S2，表示原帧图像F2不存在的空白部分。
根据前帧图像F1、当前帧图像F2、第1临时预测图像F12及第2临时预测图像F21，生成无空白部分的预测图像Fx。
图12示出了将预测图像Fx、第1临时预测图像F12和第2临时预测图像F21重合的图。
在图12中，设第1临时预测图像F12中的空白部分为区域S1，设第2临时预测图像F21的空白部分为区域S2。用Q1表示区域S1中不与区域S2相重合的部分，用Q2表示区域S2中不与区域S1相重合的部分，用R表示区域S1和区域S2相重合的2个角部分，用T表示其它区域。
对于预测图像Fx内的区域T，都可由第1临时预测图像F12及第2临时预测图像F21的其中之一生成预测图像，但在该例中，由第1临时预测图像F12生成预测图像。对于预测图像Fx内的区域Q1，由于在第2临时预测图像F21中存在原图像，故由第2临时预测图像F21生成预测图像。对于预测图像Fx内的区域Q2，由于在第1临时预测图像F12中存在原图像，故由第1临时预测图像F12生成预测图像。对于预测图像Fx内的区域R，由将前帧图像F1和当前帧图像F2加权相加后的图像生成预测图像。这样，可生成无空白部分的预测图像Fx。
以上，对Cti及Ctj的符号都为正的情况进行了说明，但通过与Cti及Ctj的符号组合，预测图像Fx内的区域Q1、Q2、R、T的配置模型，如图13所示，存在4种模型(P＝1～4)。
在各模型P1～P4中，对于预测图像Fx内的区域T，由第1临时预测图像F12生成。对于预测图像Fx内的区域Q1，由第2临时预测图像F21生成。对于预测图像Fx内的区域Q2，由第1临时预测图像F12生成。对于预测图像Fx内的区域R，由将前帧图像F1和当前帧图像F2加权相加后的图像生成。这样，可生成无空白部分的预测图像Fx。
图14示出了用于生成如上所述的预测图像Fx的、输出图像生成部19的构成例。
101是前帧用偏离量计算部，其根据由动作量控制部18提供的动作量M，计算前帧图像F1的偏离量Ct。102是当前帧用偏离量计算部，其根据由动作量控制部18提供的动作量M，计算当前帧图像F2的偏离量Ct+1。
103是前帧图像偏离部，其生成将由帧存储器C(14)提供的前帧图像F1仅偏移了偏离量Ct的第1临时预测图像F12。104是当前帧图像偏离部，其生成将由帧存储器B(13)提供的当前帧图像F2仅偏移了偏离量Ct+1的第2临时预测图像F21。
107是对由帧存储器C(14)提供的前帧图像F1乘以系数δ(0≤δ≤1)的乘法器。108是对由帧存储器B(13)提供的当前帧图像F2乘以系数(1-δ)的乘法器。109是对乘法器107的乘法运算结果和乘法器108的乘法运算结果进行加法运算的加法器。由加法器109输出对前帧图像F1和当前帧图像F2进行了加权加法运算的图像。
由前帧图像偏离部103输出的第1临时预测图像F12、由当前帧图像偏离部104输出的第2临时预测图像F21以及由加法器109输出的加权加法图像，输入到选择器110。
105是模型分类部，其根据前帧图像F1的水平方向偏离量Cti的符号及垂直方向偏离量Ctj的符号，分类属于图13所示的4种类型配置模型的哪一种模型。106是选择信号输出部，其根据由模型分类部105分类的模型P，将选择信号SEL输出到选择器110。
模型分类部105根据下面的条件式(6)，输出模型信号P。
if Cti≤0且Ctj≤0    then P＝1
if Cti＞0且Ctj≤0    then P＝2
if Cti≤0且Ctj＞0    then P＝3
if Cti＞0且Ctj＞0t    hen P＝4
对选择信号输出部106的动作进行说明。选择信号输出部106，对应选择第1临时预测图像F12的像素位置输出选择信号SEL＝1，对应选择第2临时预测图像F21的像素位置输出选择信号SEL＝2，对应选择加权加法运算图像的像素位置输出选择信号SEL＝3。
因此，在图13所示的各模型(P＝1～4)中，对T及Q2区域内的像素位置输出选择信号SEL＝1，对Q1区域内的像素位置输出选择信号SEL＝2，对R区域内的像素位置输出选择信号SEL＝3.
具体为，若设像素位置为(i，j)、1帧水平方向的像素数为I、1帧垂直方向的像素数为J，则选择信号输出部106根据按每个模型确定的下述条件式，输出选择信号。
(1)P＝1时(图13(a))的条件式
if |Cti|≤i＜I且|Ctj|≤j＜J，then  SEL＝1
if 0≤i＜(I-Cti)且0≤j＜|Ctj|或
0≤i＜|Cti|且|Ctj|≤j＜(J-|Ctj|)，then  SEL＝2
if 0≤i＜|Cti|且(J-|Ctj|)≤j＜J  或
(I-|Cti|)≤i＜I且0≤j＜|Ctj|，then  SEL＝3
(2)P＝2时(图13(b))的条件式
if 0≤i＜(I-|Cti|)且|Ctj|≤j＜J，then  SEL＝1
if |Cti|≤i＜I且0≤j＜|Ctj|或
(I-|Cti|)≤i＜I且|Ctj|≤j＜(J-|Ctj|)，then  SEL＝2
if 0≤i＜|Cti|且0≤j＜|Ctj|或
(I-|Cti|)≤i＜I且(J-|Ctj|)≤j＜J，then  SEL＝3
(3)P＝3时(图13(c))的条件式
if  |Cti|≤i＜I且0≤j＜(J-|Ctj|)，then  SEL＝1
if 0≤i＜|Cti|且|Ctj|≤j＜J  或
|Cti|≤i＜(I-|Cti|)且(J-|Ctj|)≤j＜J，then  SEL＝2
if 0≤i＜|Cti|且0≤j＜|Ctj|或
(I-Cti)≤i＜I且(J-|Ctj|)≤j＜J，then  SEL＝3
(4)P＝4时(图13(d))的条件式
if 0≤i＜(I-|Cti|)且0≤j＜(J-|Ctj|)，then  SEL＝1
if  |Cti|≤i＜(I-|Cti|)且(J-|Ctj|)≤j＜J  或
(I-|Cti|)≤i＜I且|Ctj|≤j＜J，then  SEL＝2
if 0≤i＜|Cti|且(J-|Ctj|)≤j＜J  或
(I-|Cti|)≤i＜I且0≤j＜|Ctj|，then  SEL＝3
若由选择信号输出部106送来选择信号SEL＝1，则选择器110选择并输出第1临时预测图像F12。另外，若由选择信号输出部106送来选择信号SEL＝2，则选择并输出第2临时预测图像F21。而且，若由选择信号输出部106送来选择信号SEL＝3，则选择并输出加权加法运算图像。由此，可生成无空白部分的预测图像。

Claims (8)

1.一种帧速率变换装置，其是对动态图像的帧速率进行变换的帧速率变换装置，其中备有：
动作检测机构，其按作为要进行变换的对象的动态图像的每个帧，检测与图像动作相关的信息；
摇摄/倾斜判断机构，其按所述动态图像的每个帧，根据由动作检测机构检测出的与图像动作相关的信息，判断是否为摇摄或倾斜状态下的图像；
动作量设定机构，其针对由摇摄/倾斜机构判断为不是摇摄或倾斜状态下的图像的帧，将图像的动作量设为0，针对判断为是摇摄或倾斜状态下的图像的帧，根据由动作检测机构检测出的与图像动作相关的信息设定图像的动作量；以及
预测图像生成机构，其根据由动作量设定机构按每帧设定的图像的动作量，生成帧速率变换所需的预测图像。
2.一种帧速率变换装置，其是对动态图像的帧速率进行变换的帧速率变换装置，其中备有：
动作检测机构，其按作为要进行变换的对象的动态图像的每个帧，检测与图像动作相关的信息；
摇摄/倾斜判断机构，其按所述动态图像的每个帧，根据由动作检测机构检测出的与图像动作相关的信息，判断是否为摇摄或倾斜状态下的图像；
动作量设定机构，其针对由摇摄/倾斜机构判断为不是摇摄或倾斜状态下的图像的帧，将图像的动作量设为0，针对判断为是摇摄或倾斜状态下的图像的帧，根据由动作检测机构检测出的与图像动作相关的信息设定图像的动作量；
时间方向平滑化机构，其在时间方向上对由动作量设定机构按每帧设定的图像动作量进行平滑化；以及
预测图像生成机构，其根据由时间方向平滑化机构得到的图像的动作量，生成帧速率变换所需的预测图像。
3.根据权利要求1所述的帧速率变换装置，其特征在于，
动作检测机构，其根据代表点匹配法，按每个设定在各帧的视频区域的多个动作向量检测区域，将动作向量、相关累积值的最小值及相关累积值的平均值，作为与图像的动作相关的信息进行检测，
摇摄/倾斜判断机构备有：
根据按每个动作向量检测区域检测出的相关累积值的平均值，特定各动作向量检测区域中、所检测出的动作向量的可靠性高的区域，并且计算所检测出的动作向量的可靠性高的检测区域数的机构；
判断所检测出的动作向量的可靠性高的检测区域数是否在第1阈值以上的机构；
在所检测出的动作向量的可靠性高的检测区域数小于第1阈值的情况下，判定为该帧没有进行摇摄/倾斜的机构；
在所检测出的动作向量的可靠性高的检测区域数在第1阈值以上的情况下，根据针对动作向量的可靠性高的检测区域而检测出的相关累积值的平均值及相关累积值的最小值，特定动作向量的可靠性高的检测区域中、存在多种动作的检测区域和不存在多种动作的检测区域，并且计算存在多种动作的检测区域数的机构；
判断存在多种动作的检测区域数是否小于第2阈值的机构；
在存在多种动作的检测区域数在第2阈值以上的情况下，判定为该帧没有进行摇摄/倾斜的机构；以及
在存在多种动作的检测区域数小于第2阈值的情况下，判定为该帧作了摇摄/倾斜的机构。
4.根据权利要求2所述的帧速率变换装置，其特征在于，
动作检测机构，其根据代表点匹配法，按每个设定在各帧的视频区域的多个动作向量检测区域，将动作向量、相关累积值的最小值及相关累积值的平均值，作为与图像的动作相关的信息进行检测，
摇摄/倾斜判断机构备有：
根据按每个动作向量检测区域检测出的相关累积值的平均值，特定各动作向量检测区域中、所检测出的动作向量的可靠性高的区域，并且计算所检测出的动作向量的可靠性高的检测区域数的机构；
判断所检测出的动作向量的可靠性高的检测区域数是否在第1阈值以上的机构；
在所检测出的动作向量的可靠性高的检测区域数小于第1阈值的情况下，判定为该帧没有进行摇摄/倾斜的机构；
在所检测出的动作向量的可靠性高的检测区域数在第1阈值以上的情况下，根据针对动作向量的可靠性高的检测区域而检测出的相关累积值的平均值及相关累积值的最小值，特定动作向量的可靠性高的检测区域中、存在多种动作的检测区域和不存在多种动作的检测区域，并且计算存在多种动作的检测区域数的机构；
判断存在多种动作的检测区域数是否小于第2阈值的机构；
在存在多种动作的检测区域数在第2阈值以上的情况下，判定为该帧没有进行摇摄/倾斜的机构；以及
在存在多种动作的检测区域数小于第2阈值的情况下，判定为该帧作了摇摄/倾斜的机构。
5.根据权利要求1所述的帧速率变换装置，其特征在于，
动作检测机构，其根据代表点匹配法，按每个设定在各帧的视频区域的多个动作向量检测区域，将动作向量、相关累积值的最小值及相关累积值的平均值，作为与图像的动作相关的信息进行检测，
摇摄/倾斜判断机构备有：
根据按每个动作向量检测区域检测出的相关累积值的平均值，特定各动作向量检测区域中、所检测出的动作向量的可靠性高的区域，并且计算所检测出的动作向量的可靠性高的检测区域数的机构；
判断所检测出的动作向量的可靠性高的检测区域数是否在第1阈值以上的机构；
在所检测出的动作向量的可靠性高的检测区域数小于第1阈值的情况下，判定为该帧没有进行摇摄/倾斜的机构；
在所检测出的动作向量的可靠性高的检测区域数为第1阈值以上的情况下，根据针对动作向量的可靠性高的检测区域而检测出的相关累积值的平均值及相关累积值的最小值，特定动作向量的可靠性高的检测区域中、存在多种动作的检测区域和不存在多种动作的检测区域，并且计算存在多种动作的检测区域数的机构；
判断存在多种动作的检测区域数是否小于第2阈值的机构；
在存在多种动作的检测区域数为第2阈值以上的情况下，判定为该帧没有进行摇摄/倾斜的机构；
在存在多种动作的检测区域数小于第2阈值的情况下，根据针对动作向量的可靠性高且不存在多种动作的检测区域而检测出的动作向量，特定动作向量的可靠性高且不存在多种动作的检测区域中、有动作向量类似性的检测区域，并且计算有动作向量类似性的检测区域数的机构；
判断判定为有动作向量类似性的检测区域数是否在第3阈值以上的机构；
在判断为有动作向量类似性的检测区域数小于第3阈值的情况下，判定为该帧没有进行摇摄/倾斜的机构；以及
在动作向量类似性高的检测区域数为第3阈值以上的情况下，判定为该帧作了摇摄/倾斜的机构。
6.根据权利要求2所述的帧速率变换装置，其特征在于，
动作检测机构，其根据代表点匹配法，按每个设定在各帧的视频区域的多个动作向量检测区域，将动作向量、相关累积值的最小值及相关累积值的平均值，作为与图像的动作相关的信息进行检测，
摇摄/倾斜判断机构备有：
根据按每个动作向量检测区域检测出的相关累积值的平均值，特定各动作向量检测区域中、所检测出的动作向量的可靠性高的区域，并且计算所检测出的动作向量的可靠性高的检测区域数的机构；
判断所检测出的动作向量的可靠性高的检测区域数是否在第1阈值以上的机构；
在所检测出的动作向量的可靠性高的检测区域数小于第1阈值的情况下，判定为该帧没有进行摇摄/倾斜的机构；
在所检测出的动作向量的可靠性高的检测区域数为第1阈值以上的情况下，根据针对动作向量的可靠性高的检测区域而检测出的相关累积值的平均值及相关累积值的最小值，特定动作向量的可靠性高的检测区域中、存在多种动作的检测区域和不存在多种动作的检测区域，并且计算存在多种动作的检测区域数的机构；
判断存在多种动作的检测区域数是否小于第2阈值的机构；
在存在多种动作的检测区域数为第2阈值以上的情况下，判定为该帧没有进行摇摄/倾斜的机构；
在存在多种动作的检测区域数小于第2阈值的情况下，根据针对动作向量的可靠性高且不存在多种动作的检测区域而检测出的动作向量，特定动作向量的可靠性高且不存在多种动作的检测区域中、有动作向量类似性的检测区域，并且计算有动作向量类似性的检测区域数的机构；
判断判定为有动作向量类似性的检测区域数是否在第3阈值以上的机构；
在判断为有动作向量类似性的检测区域数小于第3阈值的情况下，判定为该帧没有进行摇摄/倾斜的机构；以及
在动作向量类似性高的检测区域数为第3阈值以上的情况下，判定为该帧作了摇摄/倾斜的机构.
7.一种视频装置，其具备变换动态图像的帧速率的帧速率变换装置，其中帧速率变换装置备有：
动作检测机构，其按作为要进行变换的对象的动态图像的每个帧，检测与图像动作相关的信息；
摇摄/倾斜判断机构，其按所述动态图像的每个帧，根据由动作检测机构检测出的与图像动作相关的信息，判断是否为摇摄或倾斜状态下的图像；
动作量设定机构，其针对由摇摄/倾斜机构判断为不是摇摄或倾斜状态下的图像的帧，将图像的动作量设为0，针对判断为是摇摄或倾斜状态下的图像的帧，根据由动作检测机构检测出的与图像动作相关的信息设定图像的动作量；以及
预测图像生成机构，其根据由动作量设定机构按每帧设定的图像的动作量，生成帧速率变换所需的预测图像。
8.一种视频装置，其具备变换动态图像的帧速率的帧速率变换装置，其中帧速率变换装置备有：
动作检测机构，其按作为要进行变换的对象的动态图像的每个帧，检测与图像动作相关的信息；
摇摄/倾斜判断机构，其按所述动态图像的每个帧，根据由动作检测机构检测出的与图像动作相关的信息，判断是否为摇摄或倾斜状态下的图像；
动作量设定机构，其针对由摇摄/倾斜机构判断为不是摇摄或倾斜状态下的图像的帧，将图像的动作量设为0，针对判断为是摇摄或倾斜状态的图像的帧，根据由动作检测机构检测出的与图像动作相关的信息设定图像的动作量；
时间方向平滑化机构，其在时间方向上对由动作量设定机构按每帧设定的图像动作量进行平滑化；以及
预测图像生成机构，其根据由时间方向平滑化机构得到的图像的动作量，生成帧速率变换所需的预测图像。
CN200610059646.2A 2005-03-25 2006-03-17 帧速率变换装置、摇摄/倾斜判断装置及视频装置 Expired - Fee Related CN1838737B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2005089257 2005-03-25
JP2005089257 2005-03-25
JP2005-089257 2005-03-25
JP2006045721A JP4489033B2 (ja) 2005-03-25 2006-02-22 フレームレート変換装置、パン・チルト判定装置および映像装置
JP2006045721 2006-02-22
JP2006-045721 2006-02-22

Publications (2)

Publication Number Publication Date
CN1838737A CN1838737A (zh) 2006-09-27
CN1838737B true CN1838737B (zh) 2010-05-12

Family

ID=37034757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200610059646.2A Expired - Fee Related CN1838737B (zh) 2005-03-25 2006-03-17 帧速率变换装置、摇摄/倾斜判断装置及视频装置

Country Status (3)

Country Link
US (1) US7929611B2 (zh)
JP (1) JP4489033B2 (zh)
CN (1) CN1838737B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8432495B2 (en) * 2006-09-15 2013-04-30 Panasonic Corporation Video processor and video processing method
WO2008139520A1 (ja) * 2007-04-27 2008-11-20 Pioneer Corporation 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体
GB2452041B (en) * 2007-08-20 2012-09-26 Snell Ltd Video framing control
JP2009115910A (ja) * 2007-11-02 2009-05-28 Denso Corp 同期変換装置、同期変換方法及びプログラム
JP4951487B2 (ja) * 2007-12-14 2012-06-13 株式会社日立製作所 映像処理装置及びそれを用いた映像表示装置
JP4873765B2 (ja) 2009-11-20 2012-02-08 キヤノン株式会社 映像信号処理装置及び映像信号処理方法
JP5372721B2 (ja) 2009-12-11 2013-12-18 ルネサスエレクトロニクス株式会社 映像信号処理装置、方法及びプログラム
JP5604916B2 (ja) * 2010-03-12 2014-10-15 カシオ計算機株式会社 画像処理装置及びプログラム
CN102131058B (zh) * 2011-04-12 2013-04-17 上海理滋芯片设计有限公司 高清数字视频帧速率变换处理模块及其方法
JP5751942B2 (ja) * 2011-06-13 2015-07-22 キヤノン株式会社 再生装置及び再生方法
CN102724518B (zh) * 2012-05-16 2014-03-12 浙江大华技术股份有限公司 一种高清视频信号传输方法与装置
JP2014187690A (ja) * 2013-02-25 2014-10-02 Jvc Kenwood Corp 映像信号処理装置及び方法
CN105635611A (zh) * 2014-11-03 2016-06-01 中兴通讯股份有限公司 投影仪自适应调整方法及装置
US10404996B1 (en) * 2015-10-13 2019-09-03 Marvell International Ltd. Systems and methods for using multiple frames to adjust local and global motion in an image
US10631002B2 (en) 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
US10701390B2 (en) 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
JP7009252B2 (ja) * 2018-02-20 2022-01-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN110351508B (zh) * 2019-08-13 2021-09-28 Oppo广东移动通信有限公司 基于录像模式的防抖处理方法和装置、电子设备
CN114125403B (zh) * 2022-01-24 2022-06-03 广东欧谱曼迪科技有限公司 内窥镜显示方法、装置、电子设备及fpga

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1127852C (zh) * 1998-05-07 2003-11-12 金亚·沃施诺 用于处理多格式音频／视频节目的方法和系统
CN1275470C (zh) * 2003-05-13 2006-09-13 三星电子株式会社 在帧速率转换时的帧内插方法及其设备
CN1307607C (zh) * 2001-03-12 2007-03-28 汤姆森特许公司 用于液晶显示器的帧速率乘法器、帧速率倍加器及其方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61107886A (ja) 1984-10-31 1986-05-26 Sony Corp 動きベクトルの平滑回路
JPS61269475A (ja) 1985-05-23 1986-11-28 Toshiba Corp 動きベクトル検出装置
US4779131A (en) * 1985-07-26 1988-10-18 Sony Corporation Apparatus for detecting television image movement
JP2902172B2 (ja) 1991-09-04 1999-06-07 キヤノン株式会社 露光装置
JPH05252486A (ja) 1992-03-03 1993-09-28 Hitachi Ltd 映像信号の走査変換装置
JP2944369B2 (ja) 1993-07-29 1999-09-06 三洋電機株式会社 ビデオカメラの手振れ補正装置およびビデオカメラ
JP2940762B2 (ja) * 1993-06-28 1999-08-25 三洋電機株式会社 手振れ補正装置を有するビデオカメラ
JPH0783469A (ja) 1993-09-14 1995-03-28 Sharp Corp 加湿器
JP2798035B2 (ja) 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
JP3416378B2 (ja) 1996-03-18 2003-06-16 三洋電機株式会社 手振れ補正機能付ビデオカメラ
JP4092778B2 (ja) 1997-06-04 2008-05-28 株式会社日立製作所 画像信号の方式変換装置及びテレビジョン受像機
US6215519B1 (en) * 1998-03-04 2001-04-10 The Trustees Of Columbia University In The City Of New York Combined wide angle and narrow angle imaging system and method for surveillance and monitoring
JP2003069961A (ja) 2001-08-27 2003-03-07 Seiko Epson Corp フレームレートの変換
JP4075418B2 (ja) * 2002-03-15 2008-04-16 ソニー株式会社 画像処理装置及び画像処理方法、印刷物製造装置及び印刷物製造方法、並びに印刷物製造システム
AU2003280516A1 (en) * 2002-07-01 2004-01-19 The Regents Of The University Of California Digital processing of video images
US20040109059A1 (en) * 2002-11-12 2004-06-10 Kevin Kawakita Hybrid joint photographer's experts group (JPEG) /moving picture experts group (MPEG) specialized security video camera
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
US7283983B2 (en) * 2003-01-09 2007-10-16 Evolution Robotics, Inc. Computer and vision-based augmented interaction in the use of printed media
JP4151422B2 (ja) * 2003-01-23 2008-09-17 セイコーエプソン株式会社 画像生成装置、画像生成方法および画像生成プログラム
US7197074B2 (en) * 2003-02-20 2007-03-27 The Regents Of The University Of California Phase plane correlation motion vector determination method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1127852C (zh) * 1998-05-07 2003-11-12 金亚·沃施诺 用于处理多格式音频／视频节目的方法和系统
CN1307607C (zh) * 2001-03-12 2007-03-28 汤姆森特许公司 用于液晶显示器的帧速率乘法器、帧速率倍加器及其方法
CN1275470C (zh) * 2003-05-13 2006-09-13 三星电子株式会社 在帧速率转换时的帧内插方法及其设备

Also Published As

Publication number Publication date
JP2006304266A (ja) 2006-11-02
US7929611B2 (en) 2011-04-19
CN1838737A (zh) 2006-09-27
JP4489033B2 (ja) 2010-06-23
US20060215037A1 (en) 2006-09-28

Similar Documents

Publication Publication Date Title
CN1838737B (zh) 帧速率变换装置、摇摄/倾斜判断装置及视频装置
KR100252080B1 (ko) 비트 플레인 정합을 이용한 입력영상의 움직임 보정을 통한 영상안정화 장치 및 그에 따른 영상 안정화방법
US8248480B2 (en) Imaging apparatus provided with panning mode for taking panned image
US8179466B2 (en) Capture of video with motion-speed determination and variable capture rate
US7855731B2 (en) Image vibration-compensating apparatus and method thereof
US20070110321A1 (en) Image processing apparatus, image processing method, program for image processing method, and recording medium which records program for image processing method
JP7223079B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
JP3966392B2 (ja) 画像合成通信装置
JP6574878B2 (ja) 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
EP1311123B1 (en) Controlling a video camera
KR20090063120A (ko) 결합 이미지를 생성하는 방법 및 장치
JP2008541662A (ja) 二重経路画像シーケンス安定化
KR20120072351A (ko) 디지털 이미지 안정화
CN101998058A (zh) 摄像装置和图像处理装置
CN102726037A (zh) 图像处理装置、摄像装置、程序和图像处理方法
KR20150108774A (ko) 비디오 시퀀스를 프로세싱하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 및 비일시적 컴퓨터 판독가능 매체
CN103996190A (zh) 区域特定方法、区域特定装置、服务器及系统
CN103797782A (zh) 图像处理装置、程序
US20210067689A1 (en) Image processing apparatus, image processing method, and program
US7868925B2 (en) Device, method, and program for generating high-resolution image data at a low data transfer rate
EP0481421B1 (en) Moving vector extractor
CN101742310B (zh) 运动矢量检测装置和运动矢量处理方法
RU2453068C1 (ru) Устройство захвата изображения
JP6450107B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2023165555A (ja) 画像処理装置、撮像装置、制御方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100512

Termination date: 20120317